首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  fid  ›  全部回复第 1 页 / 共 3 页
回复总数  51
1  2  3  
❮ ❯
1 分钟前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@lixile #32 8 卡同时跑大概每张卡占用 20-30%，占用率还是非常低的，使用的是 awq int4 ，使用体验很顺滑
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@liu731 显卡内存 8x24g ，正文写了的
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@wantstark #18 我是一台机器多卡，暂时没有分布式条件，可能没有表述清楚
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@Les1ie #20
1. q4km 量化多卡不太合适，目前尝试 72B awq 量化+LMdeploy ，参数级提升应该大于精度提升
2. 我协调一下显卡使用，应该能合理分配，毕竟多卡通信存在速度损失
3. qwen2.5 优于 deepseek 吧
4. 本地部署必要，100%无法联网，4o 还是太成熟了
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@woscaizi #19 好的，感谢推荐！
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@DreamingCTW #17 ollama 多卡不太行吧
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@oldfans #15
ollama 确实不适合多卡。

目前方案是 LMdeploy ，比 vllm 好

我去用 72B 了哈哈

还是大参数量好，充分利用 gpu
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@kenvix #14 多谢！这就去上 72B
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@mythabc #13
1. 感谢建议，会着手解决
2. ollama 感觉确实是玩具 hh
3. 感谢推荐，我去了解一下
4. 确实，感觉现成的 open_webui 就行，兼容 openai api
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@Azure99 #11
@Fanhz #12
感谢推荐 sglang ！
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@Livid #6 等多来几台服务器试试集群（），目前环境较为封闭，可用设备只有一台 8x4090
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@GPLer #5 用户数在 0-10 左右，不过确实可以上 72B ，我考虑下量化（服务器可能被用于跑其他深度学习，不好说）
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@mmjy #4 好的，好像确实可以，就是配置麻烦，我对比一下
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@Leon6868 #3 离线环境无法远程:）
感谢提供 LMdeploy (┌・ω・)┌✧
1 天前
回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助
@qiniu2025 #1 自用，离线环境部署只能选 32B
330 天前
回复了 fid 创建的主题 › 职场话题 › 中上 211 计科本是否有必要保研本校电子信息专硕
@zw1one 还是保研好哇😂
330 天前
回复了 fid 创建的主题 › 职场话题 › 中上 211 计科本是否有必要保研本校电子信息专硕
@zw1one 👌🏻，了解
330 天前
回复了 fid 创建的主题 › 职场话题 › 中上 211 计科本是否有必要保研本校电子信息专硕
@zw1one 有道理，保研还是好的。有个问题，双 2 硕会不会有点差？
330 天前
回复了 fid 创建的主题 › 职场话题 › 中上 211 计科本是否有必要保研本校电子信息专硕
@yzbythesea 这么看确实，9 硕都去卷 cv()
331 天前
回复了 fid 创建的主题 › 职场话题 › 中上 211 计科本是否有必要保研本校电子信息专硕
@yzbythesea 了解。我们老师说最好本科把开发整好，研究生有时间就整整算法(目前主推 cv)，以后找工作就算不找算法岗有了本科开发的底子也很容易把开发拾起来
1  2  3  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5389 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 09:17 · PVG 17:17 · LAX 01:17 · JFK 04:17
Developed with CodeLauncher
♥ Do have faith in what you're doing.