1
kuhung 79 天前 1
你这个预算怎么弄都能跑了,无论是大语言模型还是生图。要点就是显存够大。
|
2
kaichen 79 天前
推理最重要的是有足够的显存可以把模型权重加载进来。
要么是搞个内存高一些的 mac ,要么是选个实惠一些的大显存显卡(去咸鱼淘二手) 7b 的 4bit 量化在 ~4G ,13b 的 4bit 在 ~8G ,34b 的 4bit 在 ~25GB ,70b 的 4bit 在 ~23GB |
3
cmonkey OP |
5
mythabc 79 天前 via Android
一步到位 4090 。其他卡都是勉强跑起来,你会不断花时间在纠结这破卡是不是该换了。
不要只看 int4 的模型最低的显存占用,prompt token 上去以后显存占用会暴增,平方关系。 |
8
passive 79 天前 via Android
如果只是推理,够买两张 16GB 的 4060 了
|
9
thedog 79 天前
从某种角度来说,mac studio 192G ,用来做 ai 推理,是在售成品中性价比比较高的选择之一
|