beginor 最近的时间轴更新
beginor

beginor

V2EX 第 56321 号会员,加入于 2014-02-19 21:29:19 +08:00
今日活跃度排名 7907
iPhone 6S 居然还能收到 iOS 15.8.4 的更新,真是良心!
iPhone  •  beginor  •  18 天前  •  最后回复来自 uprit
52
ANE 可以跑大模型了!
Apple  •  beginor  •  83 天前  •  最后回复来自 beginor
7
高速上看到不少敢开 150 公里摩托车
汽车  •  beginor  •  95 天前  •  最后回复来自 wolfie
86
我的 MacBook Pro 可以侧边单手开合
MacBook Pro  •  beginor  •  121 天前  •  最后回复来自 Avn
5
beginor 最近回复了
2 小时 18 分钟前
回复了 wazon 创建的主题 Android 疑似可以提升小米手机流畅度的方法
K40s 路过,特别后悔以前没有申请解锁,现在再想解锁已经我太可能了,最后一台小米了
4 天前
回复了 StopWaring 创建的主题 Local LLM 目前本地部署比较好的大模型有哪些
@Mithril 大佬跑 f16 的, 我跑的 a3b 是 q4_k_m , 跑不出结果。 但是 32b q4_k_m 是可以推理出正确结果的。
4 天前
回复了 StopWaring 创建的主题 Local LLM 目前本地部署比较好的大模型有哪些
@StopWaring 在 48G 显存下,llama.cpp 可以运行 32b q8_0 的 gguf 模型,而且上下文长度可以到 16k 。 如果是 vllm 则只能运行 32b awq 量化的模型, 上下文最多 8k 。
4 天前
回复了 StopWaring 创建的主题 Local LLM 目前本地部署比较好的大模型有哪些
@StopWaring gguf 用 llama.cpp , 多模态才用 vllm , 穷鬼只能这样
5 天前
回复了 StopWaring 创建的主题 Local LLM 目前本地部署比较好的大模型有哪些
@Mithril 问类似这样的问题

如今,在驿站中能凭借精准的取件码领取快递。已知取件码“8-2-1007”表示“星期一的第 7 个快递,在第 8 个货柜的第 2 层”。有一份快递是星期五的第 104 个快递,在第 3 个货柜的第 4 层。这份快递的取件码是多少?

A3B 会死循环,32B 可以得出正确的结果。
5 天前
回复了 StopWaring 创建的主题 Local LLM 目前本地部署比较好的大模型有哪些
48G 显存建议跑用 llama.cpp 量化的 Qwen 2.5 Coder 32B 。

如果还富裕的话可以再跑个 3b 的 coder 做代码提示,llama.cpp 有特供的支持
5 天前
回复了 StopWaring 创建的主题 Local LLM 目前本地部署比较好的大模型有哪些
@Mithril A3B 不太行,跟 32B 差远了。 很多问题 A3B 会死循环推理,但是 32B 不会。
现在 2 千多就可以买到 8Gen3 了,3k 甚至买到 8e ,8+能打过哪个?
看看价格, 一个顶 10 个, 还是散了吧!😂
9 天前
回复了 yodi 创建的主题 配件 求推荐一个 macbook 的便携屏
15 寸 oled 4k 的就那几款,随便选一款就行。 总不能配个 1080p 的吧,2k 的不能 2x 缩放,用着很难受。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5508 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 03:12 · PVG 11:12 · LAX 20:12 · JFK 23:12
Developed with CodeLauncher
♥ Do have faith in what you're doing.