“最近 GitHub 上冒出来一个很猛的开源项目 Strata ，让一台普通游戏电脑，跑得动 125B 参数级别的 Qwen3.8-Flash-Next 。不需要 48GB 、80GB 显存。官方给出的最低配置是一张 12GB 显存的 NVIDIA 或 AMD 显卡，加 32GB 以上内存。如果有 64GB 内存，基本可以覆盖 Strata 提供的所有主要量化版本。最夸张的是速度，我本地 4090 24G 跑出了平均 136.0 tok/s 的速度。”
https://mp.weixin.qq.com/s/ditzZM7JBUPOcjCVT4SkHg
https://mp.weixin.qq.com/s/ditzZM7JBUPOcjCVT4SkHg
Select Language