这是一个创建于 389 天前的主题，其中的信息可能已经有所发展或是发生改变。
我想自己训练一个 AI ，主要用来做 APP 客服，为它喂一些相关专业知识，方便为用户解答，请问有什么比较合适的开源 AI 吗？
要能在普通服务器上跑起来的。
 |
1
azure2024us 2024-03-17 20:51:40 +08:00
GLM-130B , 国内清华大学的， 之前部署过。
推理 12g 显存就够了。 训练要 24g + 显存 才勉强跑的动。 |
 |
2
frankyzf 2024-03-17 21:12:42 +08:00
ollama 的 mistral 可以试试
|
 |
3
shinyzhu 2024-03-17 21:35:27 +08:00
最近在用 01 万物和 moonshot ，感觉能力都不错的。
|
 |
4
Liftman 2024-03-17 22:13:27 +08:00
这种需求自己训练极其不划算。而且效果不好。
|
 |
5
v24radiant 2024-03-17 22:14:57 +08:00
最近用了一下 xverse 的，感觉还可以
|
 |
6
gaobh 2024-03-17 22:51:22 +08:00 via iPhone
给用户用就必须要 gpu 服务器了，然后看看用户量计算一下能承受多少成本，算完你就会发现你会破产。
|
 |
7
kidlj 2024-03-17 22:54:24 +08:00
可以手机推理的端侧大模型（ 2B ）： https://github.com/OpenBMB/MiniCPM
|
 |
8
lithiumii 2024-03-18 00:23:06 +08:00 via Android
套路一般是买 GPT-4 的 API 先顶着，凑了几百条数据之后就可以微调一个便宜的本地模型了
|
 |
9
wwhc 2024-03-18 00:47:39 +08:00
Privategpt+Mistral 7B 用 1080ti 推理速度就很好了，或者 Privategpt+Mixtral 8x7B ，合法可商用性能很好的开源模型，但对 GPU 要求高
|
 |
10
canxin 2024-03-18 06:37:28 +08:00 via iPhone
Grok 刚刚开源
|
 |
11
weixind 2024-03-18 10:12:40 +08:00
https://fastgpt.run/ 这种之类的知识库解决方案 + GPT-3.5/4 基本上差不多了。自己微调和部署的成本短期来看会是更高的。
|
Select Language