ChrisBlack's recent timeline updates ChrisBlack's recent timeline updates |
ChrisBlackV2EX member #610593, joined on 2023-01-17 11:29:11 +08:00 |
ChrisBlack's recent replies
Jun 25 Replied to a topic by jiezou › Local LLM › 大模型小白推荐一下本地模型 |
基本上，8GB 顯存可以跑 Qwen3.5-9B ，問題在他不很聰明，
這幾天有 Claude5 的洩漏資料訓練出來的，Qwythos-9B-Claude-Mythos-5-1M ，
他的原始版應該 8G 跑不動，8G 可以用它的 Q8 或 Q6 量化版，另外掛圖型辨識的 mmproj ，應該是夠的
這幾天有 Claude5 的洩漏資料訓練出來的，Qwythos-9B-Claude-Mythos-5-1M ，
他的原始版應該 8G 跑不動，8G 可以用它的 Q8 或 Q6 量化版，另外掛圖型辨識的 mmproj ，應該是夠的
Select Language