fid 最近的时间轴更新 fid 最近的时间轴更新 ONLINE |
fidV2EX 第 589430 号会员，加入于 2022-07-29 17:47:35 +08:00今日活跃度排名 706 |
| 8x4090 离线部署 Qwen2.5 求助 程序员 • fid • 19 分钟前 • 最后回复来自 kennylam777 | 34 |
| 中上 211 计科本是否有必要保研本校电子信息专硕 职场话题 • fid • 329 天前 • 最后回复来自 chendl111 | 75 |
fid 最近回复了
11 小时 7 分钟前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
@liu731 显卡内存 8x24g ，正文写了的
13 小时 41 分钟前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
@wantstark #18 我是一台机器多卡，暂时没有分布式条件，可能没有表述清楚
13 小时 42 分钟前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
@Les1ie #20
1. q4km 量化多卡不太合适，目前尝试 72B awq 量化+LMdeploy ，参数级提升应该大于精度提升
2. 我协调一下显卡使用，应该能合理分配，毕竟多卡通信存在速度损失
3. qwen2.5 优于 deepseek 吧
4. 本地部署必要，100%无法联网，4o 还是太成熟了
1. q4km 量化多卡不太合适，目前尝试 72B awq 量化+LMdeploy ，参数级提升应该大于精度提升
2. 我协调一下显卡使用，应该能合理分配，毕竟多卡通信存在速度损失
3. qwen2.5 优于 deepseek 吧
4. 本地部署必要，100%无法联网，4o 还是太成熟了
13 小时 47 分钟前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
@woscaizi #19 好的，感谢推荐！
13 小时 47 分钟前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
@DreamingCTW #17 ollama 多卡不太行吧
13 小时 47 分钟前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
13 小时 49 分钟前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
@kenvix #14 多谢！这就去上 72B
13 小时 49 分钟前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
13 小时 52 分钟前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
1 天前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
@Livid #6 等多来几台服务器试试集群（），目前环境较为封闭，可用设备只有一台 8x4090
Select Language