嗯,LLaMA 的 300 亿模型效果,感觉比 70 亿模型聪明了一点.

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 628 天前的主题，其中的信息可能已经有所发展或是发生改变。

感觉能够理解一点儿东西了

4bit 模型内存占用也很香.
本来双卡不一定行,
现在单卡有富裕.

5 条回复 • 2023-03-13 18:39:53 +08:00

tool2d

2023-03-12 18:16:30 +08:00 via Android

我也试了一下 4bit 量化模型，效果很差。

ltkun

2023-03-12 20:33:37 +08:00 via Android

24g 的是什么卡

longbye0

2023-03-12 21:24:39 +08:00

@ltkun 应该 3090/ti ，geforce ，加上可以用 cuda11.7 ，就是 30 系了

kernelpanic

2023-03-12 23:05:43 +08:00

咋跑起来的，我用的 llama.cpp 好像不支持中文。。。

OLDPAN

2023-03-13 18:39:53 +08:00