 |
Leon6868☑ LLM |☑ CSS | ☑ All In Web 践行者 V2EX 第 438369 号会员，加入于 2019-08-28 11:06:34 +08:00 |
Leon6868 最近回复了
3 天前 回复了 fid 创建的主题 › 程序员 › 8x4090 离线部署 Qwen2.5 求助 |
8x4090 跑 ollama ，不如借给我用（）（感兴趣可以联系 cXRiYm9zajVzQG1vem1haWwuY29t ，我可以帮你配置环境）
我个人的推荐是 lmdeploy + Qwen2.5 72B awq int8 ，响应速度很快，支持多卡，在 4xV100 上实跑 72B gptq int4 比 vllm 好用
我个人的推荐是 lmdeploy + Qwen2.5 72B awq int8 ，响应速度很快，支持多卡，在 4xV100 上实跑 72B gptq int4 比 vllm 好用
14 天前 回复了 Leon6868 创建的主题 › 程序员 › 现代化 SSH 客户端求推荐 |
@cluefly #138 Windterm 似乎不能传递鼠标点击事件
15 天前 回复了 Apol1oBelvedere 创建的主题 › Python › Python 用 Gooey 库编写了一个最最简单的调用外部命令行的界面程序，打包后体积 30MB，怎么再次降低，最低能到多少 MB？ |
几乎不可能小于 10mb ，你可以试试 Nuitka 但是我觉得应该帮助不大
Python 写 GUI 就是为了方便嘛，大小肯定不占优势的
Python 写 GUI 就是为了方便嘛，大小肯定不占优势的
15 天前 回复了 NianBroken 创建的主题 › 程序员 › 有没有上下文输出长一点的 AI 大模型推荐？ |
智谱的 LongWrite 可以看看
22 天前 回复了 crc8 创建的主题 › Python › 为什么 Python 会有那么多人喜欢用？ |
@crc8 #6 你确定这不是 PIP 吗？
24 天前 回复了 zhouhuab 创建的主题 › 程序员 › 反向代理后的端口数量限制 |
25 天前 回复了 SeleiXi 创建的主题 › 程序员 › 想问下语音大模型的前后端技术选型，以及采用什么通讯协议比较好？ |
@Leon6868 #8 其实 4o 的延迟也不低，而且主要在于 VAD 、模型推理上
25 天前 回复了 SeleiXi 创建的主题 › 程序员 › 想问下语音大模型的前后端技术选型，以及采用什么通讯协议比较好？ |
我最近正好也在做这个，经过大量选型后我认为最方便的还是 ws+mp3 切片，至少语音延迟在传输上能达到 110ms 的延迟。
感兴趣的话欢迎深入交流，我的邮箱是 cXRiYm9zajVzQG1vem1haWwuY29t
感兴趣的话欢迎深入交流，我的邮箱是 cXRiYm9zajVzQG1vem1haWwuY29t
25 天前 回复了 zuotun 创建的主题 › Pixel › 大家都是怎么管理国内应用的？ |
Shizuku + 雹 ，使用雹的“添加到主屏幕”选项，再把“全部冻结”放在顺手处就行
Select Language