 |
gaocegegeTalk is not cheap. 🏢 环球卖萌中心 / 划水部 V2EX 第 95688 号会员，加入于 2015-02-04 14:42:03 +08:00 |
gaocegege
Shanghai, China
gaocegege
gaocegege
上海交通大学 划水专业
| envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）
3 分享创造 • gaocegege • 2022-09-09 09:16:57 AM • 最后回复来自 gaocegege
|
19 |
| 如何对深度学习训练进行性能调优？ 问与答 • gaocegege • 2022-09-01 10:25:29 AM |
| [ANN] 关于复式记账语言 Beancount 过分难用这件事
2 分享创造 • gaocegege • 2022-04-25 14:17:57 PM • 最后回复来自 wdssmq
|
39 |
| [ANN] 把支付宝、微信等账单转为 BeanCount 记账的命令行工具 分享创造 • gaocegege • 2021-08-17 14:47:12 PM • 最后回复来自 TripleZ | 3 |
| 腾讯 2022 校招 CSIG 推荐 水 • gaocegege • 2021-08-09 10:09:58 AM • 最后回复来自 gaocegege | 1 |
| [校招][字节跳动-基础架构团队] 北京/上海/南京/杭州/深圳都有职位
2 酷工作 • gaocegege • 2021-02-03 16:43:56 PM • 最后回复来自 QZhan
|
16 |
| [GitHub 开源项目] Managing Machine Learning/Deep Learning Models like Docker Images
1 分享创造 • gaocegege • 2020-08-04 22:38:14 PM • 最后回复来自 gaocegege
|
4 |
| [上海][B 轮][15-30k] 招聘云原生 AI Infra 工程师，经验不限，直接参与上游 Kubeflow 社区贡献 酷工作 • gaocegege • 2020-02-14 09:41:28 AM • 最后回复来自 gaocegege | 6 |
| [ANN] Processing.R – R 语言做数据可视化的另一种思路
1 分享创造 • gaocegege • 2017-05-14 22:15:23 PM
|
| [For GiHub Maintainer] 一个希望可以方便 Miantainer 的 CLI
2 分享创造 • gaocegege • 2017-04-29 09:08:42 AM • 最后回复来自 gaocegege
|
1 |
gaocegege 最近回复了
2022-09-09 09:16:57 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy
> 比如像我比较熟悉和习惯构建容器，在我看来这就是借 Python 语法实现的一个 DSL ，并没有解决我太多的痛点，反而在遇到问题时这个 DSL 会显得特别蹩脚。当然我可能不是你们的目标用户~
谢谢建议，如果你有兴趣的话，我们可以约一次线上的时间交流一下。关于你日常工作中在构建时遇到的问题，和现在你一般都是如何解决的。这对我们非常有帮助~
> 比如像我比较熟悉和习惯构建容器，在我看来这就是借 Python 语法实现的一个 DSL ，并没有解决我太多的痛点，反而在遇到问题时这个 DSL 会显得特别蹩脚。当然我可能不是你们的目标用户~
谢谢建议，如果你有兴趣的话，我们可以约一次线上的时间交流一下。关于你日常工作中在构建时遇到的问题，和现在你一般都是如何解决的。这对我们非常有帮助~
2022-09-09 09:13:29 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 谢谢建议
嗯对于这样的 heuristics ，我们是希望在支持了 envd Hub 之后，由用户提供不同的 build func ，envd 本身提供的原语需要能够支持用户利用它写出各种各样的 build func 。
对于你说的这个例子，一个类似于这样的 build func 可以被定义：
```python
def build_torch_extension():
os.environ("TORCH_CUDA_ARCH_LIST", "3.5 5.2 6.0 6.1 7.0+PTX 8.0" TORCH_NVCC_FLAGS="-Xfatbin -compress-all")
...
```
在使用的时候可以：
```python
load("build_torch_extension")
def build():
build_torch_extension()
```
作为一个帮助解决 dirty work 的项目，我们希望能够通过扩展性来解决各种不同场景的问题，因为不同场景的 dirty work 都不太一样，我们也很难把所有的 heuristics 都集成在项目里
当然最简单的框架和 CUDA 的版本映射，这个倒是不复杂。
嗯对于这样的 heuristics ，我们是希望在支持了 envd Hub 之后，由用户提供不同的 build func ，envd 本身提供的原语需要能够支持用户利用它写出各种各样的 build func 。
对于你说的这个例子，一个类似于这样的 build func 可以被定义：
```python
def build_torch_extension():
os.environ("TORCH_CUDA_ARCH_LIST", "3.5 5.2 6.0 6.1 7.0+PTX 8.0" TORCH_NVCC_FLAGS="-Xfatbin -compress-all")
...
```
在使用的时候可以：
```python
load("build_torch_extension")
def build():
build_torch_extension()
```
作为一个帮助解决 dirty work 的项目，我们希望能够通过扩展性来解决各种不同场景的问题，因为不同场景的 dirty work 都不太一样，我们也很难把所有的 heuristics 都集成在项目里
当然最简单的框架和 CUDA 的版本映射，这个倒是不复杂。
2022-09-09 00:10:21 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 嗯嗯，cog 是在内存里维护了一个 map ，把每个 pytorch tf 版本对应的 cuda 版本记在了里面。我们后面也有计划提供一个 func ，来让使用者指定是否要自动推理合适的 cuda 版本
2022-09-09 00:08:24 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 默认用 install.cuda 配置的就是带 devel 的，不过现在只支持 11.6 和 11.2 ，也可以用
base(image="") 自定义 base image
base(image="") 自定义 base image
2022-09-08 23:43:37 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 你想用的是哪个版本嘞？
2022-09-08 22:38:16 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@houshuu 欢迎试用反馈哦
2022-09-08 22:37:47 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 这样，学习了
这个例子是参考了 2017 年的一个 mnist streamlit 的 demo ，可能有点非最佳实践
这个例子是参考了 2017 年的一个 mnist streamlit 的 demo ，可能有点非最佳实践
2022-09-08 20:20:24 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
2022-09-08 20:14:56 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
2022-09-08 20:14:17 +08:00 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
嗯对，如果不冲突的话是可以的。所以我们也在设计语法让用户自己决定是不是需要并行。
有冲突就需要 fallback 到串行。
有冲突就需要 fallback 到串行。
Select Language