C++ · 13 人关注
CompilerLab
A tricky compiler generator
gaocegege's repos on GitHub
TeX · 12 人关注
bachelor-paper-2016
my bachelor's thesis in SJTU about https://github.com/caicloud/cyclone
JavaScript · 10 人关注
Blog
Personal Blog in github.io
Go · 7 人关注
6.824-2016
Implementation for MIT 6.824 Distributed System 2016
Go · 6 人关注
6.824-Distributed-Systems-Lab
Implementation for MIT 6.824 Distributed System
6 人关注
car-driving-notice
驾驶考试 Notice
Python · 6 人关注
coala-langserver
UNMAINTAINED: MOVE TO github.com/coala/coala-vs-code
C · 2 人关注
6.828
Solution to homework and assignments from MIT's 6.828 (Operating Systems Engineering).
2 人关注
awesome-github
A curated list of awesome GitHub guides, articles, sites, tools, projects and resources. 收集这个列表，只是为了更好地使用亲爱的GitHub,欢迎提交pr和issue。
2 人关注
ciao
JavaScript · 1 人关注
acg-detector
1 人关注
adaptdl
Resource-adaptive cluster scheduler for deep learning training.
HTML · 1 人关注
adpower
buf
Jupyter Notebook · 1 人关注
advisor
Open-source implementation of Google Vizier for hyper parameters tuning
1 人关注
agents
TF-Agents is a library for Reinforcement Learning in TensorFlow
1 人关注
AI-Software-Startups
A Survey of AI startups
1 人关注
aibrix
Cost-efficient and pluggable Infrastructure components for GenAI inference
1 人关注
awesome-open-source-mlops
An awesome & curated list of best open source MLOps tools for data scientists.
Python · 1 人关注
cifar10-estimator
cifar10-estimator from tensorflow/models
0 人关注
airi
💖🧸 アイリ, ultimate Neuro-sama like LLM powered Live2D/VRM living character life pod, near by you.
Go · 0 人关注
ali-clusterdata-analyzer
JavaScript · 0 人关注
api-blueprint-docker
0 人关注
apiserver-builder-alpha
apiserver-builder-alpha implements libraries and tools to quickly and easily build Kubernetes apiservers/controllers to support custom resource types based on APIServer Aggregation
0 人关注
argo
Argo Workflows: Get stuff done with Kubernetes.
0 人关注
artifacts
OCI Artifacts
TypeScript · 0 人关注
atom-languageclient
Python · 0 人关注
autokeras
Accessible AutoML for deep learning.
Python · 0 人关注
automl-demo
0 人关注
awesome-data-engineering
A curated list of data engineering tools for software developers
0 人关注
awesome-datascience
:memo: An awesome Data Science repository to learn and apply for real world problems.
0 人关注
awesome-developer-first
A curated list of awesome developer-first tools products.
0 人关注
awesome-docker
:whale: A curated list of Docker resources and projects
Go · 0 人关注
awesome-go
A curated list of awesome Go frameworks, libraries and software
0 人关注
awesome-go-China
A curated list of awesome Go frameworks, libraries and software written by Ethnic Chinese.
0 人关注
awesome-mlops
:sunglasses: A curated list of awesome MLOps tools
0 人关注
awesome-open-mlops
The Fuzzy Labs guide to the universe of open source MLOps
0 人关注
awesome-production-machine-learning
A curated list of awesome open source libraries to deploy, monitor, version and scale your machine learning
0 人关注
awesome-python-data-science
Probably the best curated list of data science software in Python.
R · 0 人关注
awesome-R
A curated list of awesome R packages, frameworks and software.
0 人关注
awesome-resume-for-chinese
适合中文的简历模板收集（LaTeX，HTML/JS and so on）
0 人关注
awesome-se
cheatsheet in SE, SJTU
0 人关注
Awesome-System-for-Machine-Learning
A curated list of research in machine learning system. I also summarize some papers if I think they are really interesting.
Go · 0 人关注
Ayi
A cross platform util application
C++ · 0 人关注
beauty-of-programming-2015
编程之美
0 人关注
benchmarks
A benchmark framework for Tensorflow
0 人关注
BentoML
Model Serving Made Easy
0 人关注
blobnet
Distributed, content-addressed file server and tiered cache backed by non-volatile storage
CSS · 0 人关注
blog-1
Blog for me.
CSS · 0 人关注
blog-2
Dongyue Tech Blog
0 人关注
blog-comments
0 人关注
blogroll
世界一流兼容并包TUNA协会收集的周围同学们的Blog
0 人关注
buildg
Interactive debugger for Dockerfile, with support for IDEs (VS Code, Emacs, Neovim, etc.)
0 人关注
buildkit
concurrent, cache-efficient, and Dockerfile-agnostic builder toolkit
0 人关注
caffe2-operator
Experimental repository for a caffe2 operator
0 人关注
chaos-mesh
A Chaos Engineering Platform for Kubernetes
0 人关注
chartmuseum
Host your own Helm Chart Repository
0 人关注
charts
The tkestack/charts repository provides Helm charts for use with tkestack
PHP · 0 人关注
CheersGreen
A Web Application powered by ThinkPHP
0 人关注
ChinaCOSS
China's Commercial Open-Source Software Companies
HTML · 0 人关注
christmas
Bring me a tree.
0 人关注
chrome-wakatime
Chrome extension for automatic time tracking and metrics generated from your browsing activity.
0 人关注
circle-deploy
Shell · 0 人关注
circle-integration
Ruby · 0 人关注
classroom
GitHub Classroom automates repository creation and access control, making it easy for teachers to distribute starter code and collect assignments on GitHub.
0 人关注
cloud
The TensorFlow Cloud repository provides APIs that will allow to easily go from debugging and training your Keras and TensorFlow code in a local environment to distributed training in the cloud.
0 人关注
cloudab
Cloud-Native A/B Testing Platform (WIP) 云原生的 A/B 测试平台
Scala · 0 人关注
cluster-scheduler-simulator
Automatically exported from code.google.com/p/cluster-scheduler-simulator
0 人关注
clusterdata
cluster data collected from production clusters in Alibaba for cluster management research
0 人关注
clusternet
Managing your Kubernetes clusters (including public, private, edge, etc) as easily as visiting the Internet
Python · 0 人关注
coala
coala provides a unified command-line interface for linting and fixing all your code, regardless of the programming languages you use.
JavaScript · 0 人关注
coala-atom
A coala integration plugin for Atom
Python · 0 人关注
coala-bears
Bears for coala
0 人关注
coala-jenkins
Jenkins Plugin for coala
Java · 0 人关注
coala-jetbrains
coala plugin for jetbrains IDE
Python · 0 人关注
coala-ls
coala language server
Python · 0 人关注
coala-vs-code
A visual studio code plugin working via Language Server
Go · 0 人关注
code-generator
Generators for kube-like API types
CSS · 0 人关注
code-intelligence
ML-Powered Developer Tools, using Kubeflow
TypeScript · 0 人关注
collabobot
A collaborate robot for GitHub open source repositories. Auto weekly report, auto issue label, auto issue translation, etc.
Go · 0 人关注
comatome
comatome - matome (summary) of github contribution
Go · 0 人关注
common
Common APIs and libraries shared by other Kubeflow operator repositories.
Go · 0 人关注
community
Kubernetes community content
0 人关注
community-1
Information about the Kubeflow community including proposals and governance information.
0 人关注
community-2
Harbor community-related material
0 人关注
community-3
Information about the Klever community including proposals and governance information.
0 人关注
composer
Train neural networks up to 7x faster
Go · 0 人关注
concourse
BOSH Release
Shell · 0 人关注
config-in-mac
My config files
0 人关注
container-live-migration-research
Unmaintained
0 人关注
ContainerSSH
ContainerSSH: Launch containers on demand
0 人关注
containerssh-k8s
The Kubernetes backend for ContainerSSH
0 人关注
containerssh.github.io
The ContainerSSH website
Go · 0 人关注
controller-runtime
Repo for the controller-runtime subproject of kubebuilder (sig-apimachinery)
Go · 0 人关注
controller-tools
Tools to use with the controller-runtime libraries
HTML · 0 人关注
cosx.org
统计之都主站
PHP · 0 人关注
course
Dongyue Web Studio course and lecture
Go · 0 人关注
cow
HTTP proxy written in Go. COW can automatically identify blocked sites and use parent proxies to access.
C++ · 0 人关注
Cpp-Project-As-a-Freshman
First programming exam in SE, SJTU
0 人关注
crd-ref-docs
Generates Kubernetes CRD API reference documentation
C · 0 人关注
criu
Checkpoint/Restore tool
 |
gaocegegeTalk is not cheap. 🏢 环球卖萌中心 / 划水部 V2EX 第 95688 号会员，加入于 2015-02-04 14:42:03 +08:00 |
gaocegege
gaocegege.com/Blog/
Shanghai, China
gaocegege
gaocegege
上海交通大学 划水专业
| envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）
4 分享创造 • gaocegege • 2022 年 9 月 9 日 • 最后回复来自 gaocegege
|
19 |
| 如何对深度学习训练进行性能调优？ 问与答 • gaocegege • 2022 年 9 月 1 日 |
| [ANN] 关于复式记账语言 Beancount 过分难用这件事
2 分享创造 • gaocegege • 2022 年 4 月 25 日 • 最后回复来自 wdssmq
|
39 |
| [ANN] 把支付宝、微信等账单转为 BeanCount 记账的命令行工具 分享创造 • gaocegege • 2021 年 8 月 17 日 • 最后回复来自 TripleZ | 3 |
| 腾讯 2022 校招 CSIG 推荐 水 • gaocegege • 2021 年 8 月 9 日 • 最后回复来自 gaocegege | 1 |
| [校招][字节跳动-基础架构团队] 北京/上海/南京/杭州/深圳都有职位
2 酷工作 • gaocegege • 2021 年 2 月 3 日 • 最后回复来自 QZhan
|
16 |
| [GitHub 开源项目] Managing Machine Learning/Deep Learning Models like Docker Images
1 分享创造 • gaocegege • 2020 年 8 月 4 日 • 最后回复来自 gaocegege
|
4 |
| [上海][B 轮][15-30k] 招聘云原生 AI Infra 工程师，经验不限，直接参与上游 Kubeflow 社区贡献 酷工作 • gaocegege • 2020 年 2 月 14 日 • 最后回复来自 gaocegege | 6 |
| [ANN] Processing.R – R 语言做数据可视化的另一种思路
1 分享创造 • gaocegege • 2017 年 5 月 14 日
|
| [For GiHub Maintainer] 一个希望可以方便 Miantainer 的 CLI
2 分享创造 • gaocegege • 2017 年 4 月 29 日 • 最后回复来自 gaocegege
|
1 |
gaocegege 最近回复了
2022 年 9 月 9 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy
> 比如像我比较熟悉和习惯构建容器，在我看来这就是借 Python 语法实现的一个 DSL ，并没有解决我太多的痛点，反而在遇到问题时这个 DSL 会显得特别蹩脚。当然我可能不是你们的目标用户~
谢谢建议，如果你有兴趣的话，我们可以约一次线上的时间交流一下。关于你日常工作中在构建时遇到的问题，和现在你一般都是如何解决的。这对我们非常有帮助~
> 比如像我比较熟悉和习惯构建容器，在我看来这就是借 Python 语法实现的一个 DSL ，并没有解决我太多的痛点，反而在遇到问题时这个 DSL 会显得特别蹩脚。当然我可能不是你们的目标用户~
谢谢建议，如果你有兴趣的话，我们可以约一次线上的时间交流一下。关于你日常工作中在构建时遇到的问题，和现在你一般都是如何解决的。这对我们非常有帮助~
2022 年 9 月 9 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 谢谢建议
嗯对于这样的 heuristics ，我们是希望在支持了 envd Hub 之后，由用户提供不同的 build func ，envd 本身提供的原语需要能够支持用户利用它写出各种各样的 build func 。
对于你说的这个例子，一个类似于这样的 build func 可以被定义：
```python
def build_torch_extension():
os.environ("TORCH_CUDA_ARCH_LIST", "3.5 5.2 6.0 6.1 7.0+PTX 8.0" TORCH_NVCC_FLAGS="-Xfatbin -compress-all")
...
```
在使用的时候可以：
```python
load("build_torch_extension")
def build():
build_torch_extension()
```
作为一个帮助解决 dirty work 的项目，我们希望能够通过扩展性来解决各种不同场景的问题，因为不同场景的 dirty work 都不太一样，我们也很难把所有的 heuristics 都集成在项目里
当然最简单的框架和 CUDA 的版本映射，这个倒是不复杂。
嗯对于这样的 heuristics ，我们是希望在支持了 envd Hub 之后，由用户提供不同的 build func ，envd 本身提供的原语需要能够支持用户利用它写出各种各样的 build func 。
对于你说的这个例子，一个类似于这样的 build func 可以被定义：
```python
def build_torch_extension():
os.environ("TORCH_CUDA_ARCH_LIST", "3.5 5.2 6.0 6.1 7.0+PTX 8.0" TORCH_NVCC_FLAGS="-Xfatbin -compress-all")
...
```
在使用的时候可以：
```python
load("build_torch_extension")
def build():
build_torch_extension()
```
作为一个帮助解决 dirty work 的项目，我们希望能够通过扩展性来解决各种不同场景的问题，因为不同场景的 dirty work 都不太一样，我们也很难把所有的 heuristics 都集成在项目里
当然最简单的框架和 CUDA 的版本映射，这个倒是不复杂。
2022 年 9 月 9 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 嗯嗯，cog 是在内存里维护了一个 map ，把每个 pytorch tf 版本对应的 cuda 版本记在了里面。我们后面也有计划提供一个 func ，来让使用者指定是否要自动推理合适的 cuda 版本
2022 年 9 月 9 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 默认用 install.cuda 配置的就是带 devel 的，不过现在只支持 11.6 和 11.2 ，也可以用
base(image="") 自定义 base image
base(image="") 自定义 base image
2022 年 9 月 8 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 你想用的是哪个版本嘞？
2022 年 9 月 8 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@houshuu 欢迎试用反馈哦
2022 年 9 月 8 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
@hsfzxjy 这样，学习了
这个例子是参考了 2017 年的一个 mnist streamlit 的 demo ，可能有点非最佳实践
这个例子是参考了 2017 年的一个 mnist streamlit 的 demo ，可能有点非最佳实践
2022 年 9 月 8 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
2022 年 9 月 8 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
2022 年 9 月 8 日 回复了 gaocegege 创建的主题 › 分享创造 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） |
嗯对，如果不冲突的话是可以的。所以我们也在设计语法让用户自己决定是不是需要并行。
有冲突就需要 fallback 到串行。
有冲突就需要 fallback 到串行。
Select Language