这是一个创建于 229 天前的主题，其中的信息可能已经有所发展或是发生改变。
想离线运行下大模型玩玩，有几个问题比较纠结，请教下各位大佬 1.现在还能搞到 4090 么？有啥便宜靠谱的渠道么？ 2.4090 和 4090d 差距有多大呢？ 3.入手 4090 还是等等 5090
29 条回复 • 2024-04-10 20:09:49 +08:00
 |
1
dcalsky 229 天前
现实：4090 只能跑 13B ，且无法 finetune 。
|
 |
2
LanhuaMa 229 天前
你是要运行多"大"的模型...
实测咸鱼三百块的 P4 显卡可以流畅运行 gemma 7b, 生成速度没统计，但是差不多是 GPT4 的两倍。想要跑再大一点的模型多查几张 P4 或者换 P40 都可以的吧。。 |
 |
3
444571840 229 天前
本地能跑的大模型（ 13B 以下的），基本和弱智一下，胡编乱造。。。
|
 |
4
TabGre 229 天前 via iPhone
要跑 SD 需要什么显卡？ 出图不卡顿
|
 |
5
8E9aYW8oj31rnbOK 229 天前  1
我有两张 A100 。
如果楼主只是玩玩，可以去租算力，算力租赁平台很多，技术也比较成熟了 |
 |
7
jmc891205 229 天前
192G 的 M2 ultra 的 Mac Studio
或者等 256G 的 M3 ultrl |
 |
8
ichou 229 天前
https://featurize.cn/ 玩一下的话，建议租一个
|
 |
9
JayZXu 229 天前
个人部署的离线大模型的话，性价比最高的应该还是 M40 24G 版本的
只是运行大模型的话，显存足够大能加载模型就行，速度其实都是次要的 如果微调或者训练模型的话，一张 4090 也不太行，少说也要准备 100G 以上才能得到比较理想的效果 所以如果真的不是能有确定的项目收入，不如直接租个服务器玩玩算了，大多数情况下，直接调用各个收费模型免费的 API 额度都比自己搭的模型靠谱 |
 |
10
waityan 229 天前
我的笔记本 i5 都能勉强跑得动 7b 的模型，用 ollama
|
 |
12
gunnarli 229 天前 1
玩玩的话可以考虑租用，有很多算力租用平台，不过谨防跑路，谨慎甄别，祝顺利
|
 |
15
kwater 229 天前
离线运行，纯推理 chat ？
可以试试 模型类型+ benchmark 关键字 找到你能接受的性价比。 单片 4090 有 model 容量天花板，容易见顶完全不能用， 反而 ram 64-128g 的话可以天花板更高点 |
 |
17
pslucifer 229 天前
A100 可以吗？
|
 |
18
lingeo 229 天前
@Leonkennedy2 我看了 A100 的参数，互连上面写的是 nvlink * 2 是只支持两块互连吗？
|
|
19
8E9aYW8oj31rnbOK 229 天前
@lingeo 是的，单个接口 nvlink * 2 ，最多可以 2+2 ，4 块互联
|
Select Language