这套垃圾配置训练模型可以吗

[lordofmetis]

第一次发帖，不知道是否发在合适的节点，如果发错了，还请见谅。

废话不多说，配置如下：

1. 主板：超微 X9SRL-F ，两个 PCIE 3.0 ✖️ 16 槽，若干个 PCIE 3.0 ✖️ 8 槽；
2. 显卡：英伟达 Tesla P40 ✖️ 2 + AMD GT650 亮机卡；
3. CPU：至强 E5-2680V2 ；
4. 内存：三星 DDR3 32G ✖️ 4 ；
5. 硬盘：随便；
6. 电源：挑个 1000W 以上的。

上面这样一套配置跑深度学习以及训练模型可以吗，有什么坑吗？ 提前谢谢大家！

[lifeOsDeveloper]

可以

[tap91624]

P40 半精度听说有点问题，可以提前看下自己对 FP16 要求高不高

[stimw]

没啥问题，我自己拿了张 4090 ，但是没 nvlink 所以双卡也没啥用了。
p40 就是性能太烂了。
有预算还是上魔改 22g 的 2080ti ，甚至 3090 。

[lordofmetis]

@lifeOsDeveloper 谢谢回复

[yummysakko]

这东西应该有集显的，不用亮机卡

[lordofmetis]

@tap91624 谢谢回复，想请教下一般在什么场景下会对 FP16 有较高的要求？也正是因为这个，之前一直在纠结到底是 P40 还是 P100 ，Reddit 上网友说如果是要 train 或者 fine tune 模型的话，P40 更合适，如果是 model inferencing 的话，那 P100 更合适些，不知道这是不是和半精度有关。

[lordofmetis]

@stimw 谢谢回复，魔改 2080ti 之前也考虑过，一同考虑过的还有魔改的 3060 12G 之类的，感觉配置起来会省心很多，不用搞外部散热，也不要转接线什么的，但是就怕魔改的用起来有这样那样的问题，网上很多人也不推荐魔改的，不知道实际情况到底咋样。

[hiphooray]

是打算训练啥样的模型？图像、视频、文字？

[tap91624]

@lordofmetis 我做推理多，推理用 fp16 多

[lordofmetis]

@yummysakko 谢谢回复，我再去研究下，之前问了 GPT4 ，说基本上 E5 系列的都是没有集显的，如果不用亮机卡那是最好了，我还能省个十几块钱呢（ doge

[Pteromyini]

@lordofmetis #6 绝大多数情况下 train 和 fine tune 过程更考验半精度，因为在训练过程中对于计算精读并不需要太多考量，每一步单独的计算都是简单计算

[lordofmetis]

@hiphooray 倒是还没有明确的想法，等配好了之后探索试试看吧，所以现在也不想花太多的钱。

[lordofmetis]

@tap91624 好的，学习了

[lordofmetis]

@Pteromyini 谢谢回复，又学到啦

[sujin190]

好奇这套多少币？

[ztmzzz]

这种服务器主板上有集成显卡的，不用亮机卡

[vickhan]

也想知道需要多少米，关键家里也要够大，要不然这声音也不小把

[echo1937]

别买 X9SRL-F ，早就停产了，都是店保几个月的货，还是 x79 平台的。
买个精粤华南的 x99 d3 大板吧，价格基本差不多，性能更好，还带三年保修，何乐而不为。

[xianqin]

同好奇多少币？
另外准备装到普通机箱里？

[seres]

图省钱，我选 e5+x99+2080ti 22g

[ntedshen]

@lordofmetis ipmi 卡，不是 cpu 本身集成显卡。。。
你看板子上有 vga 的那就是有集显（板载）

[lordofmetis]

@sujin190 三千出头一些

[lordofmetis]

@ztmzzz 谢谢，前面又问了下主板卖家，说确实不用亮机卡

[lordofmetis]

@vickhan 初步看下来，全包的价格是三千出头一些。我考虑用 ATX 机箱，应该会安静些吧，机架式的问下来都说太吵了。。

[lordofmetis]

@echo1937 哈哈 X99 我也考虑过，但是最后没有选是因为我想要量大管饱的 DDR3 内存条，但 X99 不支持；而且超微的板子都说用着还行，而精粤华南听说是寨板啥的怕有问题，显卡的卖家也让我用超微的而不要用华南的。X9SRL-F 这块板子还是 GPT-4 推荐我的，确实网上卖这个的店家也不多了。

[lordofmetis]

@xianqin 价格三千多一些；准备装到普通机箱里，找了个能装 40 厘米长度显卡的 ATX 机箱。

[lordofmetis]

@seres 2080ti 22g 也要两千五了，而两张 p40 加起来就一千八不到。不过真诚发问，魔改的 2080ti 真的好吗？

[lordofmetis]

@ntedshen 谢谢，我再去查查看

[BeautifulSoup]

@lordofmetis P40 真的不建议买，现在所有加速的框架和方法至少都是安培架构起步。P40 除了显存大没有任何优点； 2080Ti22G 版本取决于卖家的手艺，改不好掉显存非常头疼。

[lithiumii]

魔改显存可能还是能用的，我笔记本 2060 魔改了 12G ，跑了大半年了还是挺稳定的

[lordofmetis]

@BeautifulSoup 谢谢回复，其实我也挺担心 P40 太老了，真的要跑什么模型发现版本用不了啥的，这也是我迟迟没有下手的原因。那或者老老实实 4060ti 16g 先入个门？

[BeautifulSoup]

@lordofmetis 你要训什么模型。如果是大模型，上面说的这几个都不是好方案；如果只是自己随便玩玩，最近的 40super 系列可以看看。一点建议是预算充足的话优先买显存大的。12G 以下的卡训练模型非常鸡肋

[lordofmetis]

@lithiumii 谢谢回复，我也再来研究下魔改显卡:)

[gzlock]

我在用 2080ti 22g 300A 核心 全三星显存 金属背板 三风扇，到手用 OCCT 软件跑显存测试 1 个小时没有错误就点收货了。
买来用 sd 来跑图，但还是馋 4090

[lordofmetis]

@BeautifulSoup 谢谢，能麻烦您再多说几句不建议买 P40 的理由吗？

[lordofmetis]

@gzlock 哈哈，想买 4090 跑 sd 吗？

[lordofmetis]

@lordofmetis 我记错了

“From a crosspost of this same question, someone helpfully pointed out that the memory bandwidth benefits of the P100 aren't all that helpful once the model is loaded, at least when inferencing. For training and fine tuning, it matters more. This explains why the P100 is geared towards training and the P40 towards inferencing, and so the larger vram pool is probably the way to go if like me, you're mostly planning to use existing models. Hope this helps.”

[gzlock]

@lordofmetis #36 4090 毕竟 1 万 6 个 cuda ，2080ti 跟 4060ti 一样就 4 千多个 cuda ，怎么说也能快 3 倍+吧

[esile]

@echo1937 山寨非常容易坏还是大厂好

[echo1937]

@lordofmetis x99 是 d3 和 d4 内存都有，我就在用

@esile 寨板我公司好多人都在用，买来当机器学习或者 k8s 实验机的，精粤和华南的，没坏过。

[biglion666]

如果是个人用，这不得吵死。。。如果不是个人用，干嘛买个垃圾。。。

[lordofmetis]

@gzlock 没错的，只是觉得 4090 用来跑图是不是有点性能过剩啦

[lordofmetis]

@esile 好的，谢谢～

[lordofmetis]

@echo1937 谢谢，我刚看了下，确实精粤和华南都有符合我要求的板子，即支持 DDR3 且有两个 PCIE x 16 的显卡插槽，不过还是想先试试看超微的那块老板子吧，一来价格更便宜，二来超微的口碑确实更好些而在精粤和华南的买家评论区也看到一些翻车的留言，三来超微这块坏了之后也可以再换其他的。

[lordofmetis]

@biglion666 谢谢回复，如果不用机架式的机箱，噪音也会很大吗？

[iorilu]

真没必要, 现在用 4060 16g 得做这个很合适, 价格也还行

[lordofmetis]

@iorilu 谢谢回复，4060 我也在考虑，但是为什么 4060 已经很合适了方便展开说说吗？

[iorilu]

@lordofmetis 首先, 这是性价比最高的 16g 卡, 其次都是新卡, 不存在洋垃圾矿卡等, 驱动都是新的, 肯定支持所有得框架

再说了, 真这玩意不够用, 说明你已经搞得不错, 换更好的卡也很合理阿

[iorilu]

@iorilu 另外 transformers 也支持分布式训练, 真需要大显存 ,可以弄几块 4060ti, 当然了 , 我还没用过分布式, 但应该是可行的

[mifly]

也在 4060 2080 魔改，3090 中犹豫
分享我的看到的推荐 4060ti16g 的理由是，内存大，价格合适，新架构，性能还行，一般 16g 内存不支持的，24g 也不支持，到时候租 gpu 用；

2080 魔改矿卡和看手艺，相对大
3090 矿卡，预算到 6000 了，好像也可以考虑最新的 4070ti super 了？

[biglion666]

@lordofmetis p40 的问题是没有风扇，你要配风扇。 那就得起飞，你这散热上不去，显卡就跑不动

想要跑就得风扇狂飙，飞机起飞。你限制转速就两个结果，一跑不动，二显卡过热烧了

你如果有个单独的地下室什么的倒是可以。。。但是如果你有个单独的地下室，那么说明你有钱买 4090.。。。

[iorilu]

其实大部分玩玩主要是想把流程跑起来

学习反正把参数改改, 显存小点反正也能跑起来

不会有人真指望自己拿点破机器能训练出好用得模型把

如果只是用别人模型, 拿更不需要太大显存

[lordofmetis]

@iorilu 谢谢，您说的很有道理，我可能确实需要摆正心态，从 4060ti 开始入门可能也是个不错的选择。

@mifly 谢谢，您说的理由我认同。我觉得魔改 2080 不行的点在于大部分店只有一年质保，之后出问题了再去修的话也没啥性价比了； 3090 矿卡么，总觉得六千多买矿卡心里膈应。

@biglion666 谢谢，您的回复点醒我了，之前一直觉得噪音方面可能问题不大，现在想想大概想当然了。

[jonty]

@lordofmetis #10 一般来说是主板带集显。。不是 CPU

[stimw]

@lordofmetis #7 买之前可以先租卡吧。。租一阵子心里有数了，搞什么方向、自己需要多大显存也知道了。没必要急着买。

[lordofmetis]

@jonty 谢谢，学习了

[lordofmetis]

@stimw 谢谢回复，是的，之前其实就已经开始用 autodl 和 vast.ai 比划比划，但是机器有点难抢，所以想着要不要自己搞一台算了。

[esile]

@echo1937 我去年买了 6 块已经有三块有问题了 厂家售后只包点亮 寄过去都是直接寄回

[echo1937]

@esile #58 这么夸张吗，哪个牌子哪个型号的？

[dayeye2006199]

感觉不如 10 刀一个月的 colab

[BarackBao]

计算机博士在读，实验室抢卡太费劲，刚刚下单 华南 x99 + 双路 e5 2680v4 ，准备体验一下试试