公司想搞一个关于 AI 问答的知识库

[hui9000]

目前主要有俩需求：

1. 对于常用知识进行问答，对于公司内部知识（如请假流程，内部代码建议等）可以训练并问答
2. 可对于目前的内部流程，销售等进行建议；我们公司各个部门内部流程上千。

感觉是需要大模型进行训练，但又苦于不知去哪找到合适的；部署的话可以利用公有云或者私有云都可；（公司内部有私有云） 常识性公开的问答可以用 chatgpt 我这边可以按照 api 进行弄个前端搞，基于 gtp3.5 但是内部流程的话或者销售数据公司领导不想给到外部进行训练。 请问有没有好的方式进行实施，交作业

[Aruen8]

哪个公司呀？

[hui9000]

@Aruen8 3 线非互联网公司。

[gaobh]

首先买一个 a100 或者买至少 4 块 4090 ，然后找个中文开源大模型框架训练即可，然后训练完你需要 gpu 服务器部署或者用 a100 部署，不知道你们公司财力怎样，要求并发的话一个月至少话 1 万？

[sweat89]

RAG

[linch97]

chatglm 6B 或者 13B ？这俩训练成本没那么高，只是问答应该也足够用了

[bk201]

找个外部提供服务的进行私有部署

[x86]

低成本
https://docs.aiproxy.io/dev/library

[luny]

智谱 AI 大模型，好像可以私有化部署，算力要求不高，可以了解下

[0703wzq]

试试看这个能不能满足： https://github.com/labring/FastGPT

[listenfree]

https://github.com/chatchat-space/Langchain-Chatchat

找类似的 chatglm3 + langchain ，完成你说的两个任务，调整好参数，适当修改知识库内容，花不了多少钱。

[kidult]

3 楼的方案可以，用 gpt 的话肯定是要外泄数据的，如果只需要 3.5 的能力还是申请公司资源自己搞吧，搞完直接升职加薪

[4rat]

最近我也在研究本地化部署问答知识库，正在使用 FastGPT + M3E + chatglm3

[holysin]

上次开会听说很多公司都有对应的解决方案，但是肯定是要微调的，你们还得买几张卡....

[lozzow]

我司有解决方案，要不要联系下，低成本

[duanquanwu]

你看看这个——https://segmentfault.com/a/1190000044459875#item-6
这个是直接用人家现成的。你可以先试用一下，看看效果。
它这个的优势是，只需要提供文档，然后就可以提问了。

[graetdk]

可以试试 https://www.modihand.com/

[churchmice]

@graetdk #16 网页做的不错，然而随便聊几句真是呵呵

[lneoi]

网上开源的可私有部署模型 + langchain 可以实现知识库相关的系统

[qdlidada]

我司有现成解决方案,可提供私有化部署,需要联系

[hui9000]

@gaobh 财力还可以吧 ，一年流水 200 亿左右 上市公司，利润不高，主要可能上面想降本增效，都不好过

[hui9000]

@x86 @0703wzq @listenfree @duanquanwu @graetdk 好的我试试，谢谢大家

[so1n]

https://datawhalechina.github.io/llm-universe/#/

[hui9000]

@lneoi OK 我找找 感谢回复

[karatsuba]

1.用 chatgpt 自带的功能挂 langchain 解决，缺点是收费
2.用本地跑模型训练或者外挂知识库，缺点是有硬件门槛而且没有 chatgpt 好使

[RealJacob]

简单弄都不需要训练吧，弄个向量数据库存一下你们的相关信息，langchain 接一下 gpt 和这个向量数据库就完事儿了

[clino]

王健硕的 chato 是不是就是搞这个的 https://chato.cn/
就是不知道能不能私有部署

[em70]

知识库不需要微调,通过向量库把资料给到 prompt 就行了,私有部署建议用通义千问 14B,是目前消费级显卡能跑的最好的中文开源模型,chatglm 问题太多了,6B 能力也有限. 更强的模型显存超过 24G,需要 A100,H100,你们买不得,也没必要

[mylastfire]

@em70 请问个人在家庭服务器上想部署知识库，您这个是最佳选择吗？

[kkhaike]

之前用 longchain 接过。。感觉效果不好，就像 gpt 帮你搜索出来结果打出来一样，不像从 gpt 自己嘴里说出来那样

[Hider5]

fastgpt

[jingcoco]

从哪搞 GPU ,感觉现在方案好多,就缺价格合适的显卡

[zhumengyang]

https://chat.swoole.com/#/subscribe

[em70]

@mylastfire #28 是,淘宝买一块 2080ti 魔改 22G, 大概 2500 元,就能跑 14B 模型

[em70]

@kkhaike #29 知识库搭起来容易,但真的要工作,需要花大量时间做数据对齐和调试 prompt,做一个好产品从来都不是容易的事

[znonymous]

https://github.com/StanGirard/quivr

[vacuitym]

这个 openai 的 assistant 很适合啊，专门有个根据文档回答问题的，我有对接，你可以试下： https://chat.vacuity.me/

[jmljava]

大模型加向量化考虑一下,特定内容向量化问答,通用问题大模型生成

[datoujiejie221]

部署一个 dify https://github.com/langgenius/dify,先把知识库搞起来,隐私数据就用私有化的,模型训练的话先不用想了。

[TimePPT]

RAG 检索 / ES 检索，得出 TopN 结果，输出给 GPT ，然后再融合生成最终结果。
效果关键：
1. 语料预处理要好，本身的结构清晰、不重不漏。
2. Prompt 约束完整，写清楚目标，链路，给出正例。并对 badcase 情况明确说 Don't Do It!

[lingxmo]

@em70 7900xtx 可以吗🙆‍♂️

[laminux29]

楼上那些人都没认真看要求吗？

楼主说了，不希望用公共的 AI ，因为担心公司数据外泄。

这种情况只能选不联网的私有化部署的开源大模型才行。

[blessu]

微软云的 openai service 不知道能不能用，可以的话就从服务合同的角度避免外泄

[em70]

@lingxmo #40 只有英伟达不折腾,其他 GPU 也行,就是问题多,得花时间去调试解决

[clemente]

LLAMA2 完事了

[hui9000]

@TimePPT 请问这种的话会有本地数据外泄的风险么

[crazychang]

借贴问问 像这种需求 oa 中大量各种格式文档应该如何处理？

[TimePPT]

@hui9000 如果直接调取 GPT ，有一定安全合规风险，要求不是很高可以考虑 RAG 完的结果做下脱敏再扔给 GPT ，回复结果里再把脱敏信息还原。
如果安全合规要求很高，保险期间用私有化部署的开源模型也行，可以找下魔改过的对中文友好的 llama2 ，或者国产可以看下 Yi / Baichuan 之类的

[TimePPT]

@crazychang 格式文档预处理有一些开源框架能做，比如 PDF 、Excel 之类的解析，不过如果长期方案，建议做下归一化处理成结构、半结构化的统一格式做索引——比如 Markdown or json ，这样有其他诉求，上 DB 也方便
大模型自己去解析封装好的格式文档基本不靠谱，GPT 之类的应该也是做了前置解析处理的

[blackbookbj277]

关注下，同样需求不联网的私有化部署的开源大模型的问答系统，单位工作需要大量的法律、规章制度等内容，如果能不联互联网情况下部署最好了，私有云有 GPU 资源是不是可以用。

[hui9000]

@blackbookbj277 我稍微研究了几天，也结合了大家的建议，你跟我的需求大致差不多，对于内部知识资料等可以用开源模型搞就行，类似知识库这种上面有；
问答还是交给 chatGPT ；结合两者可以构建应用，也就是所说的基于 api 构建问答系统；
我现在在研究 https://docs.dify.ai/v/zh-hans/getting-started/readme 这个

[hui9000]

@blackbookbj277 这样成本比较低，如果你那边 gpu 资源够用 就直接全部自己搞

[LDa]

建议推掉这种活，不要高看公司能给你的数据质量

[smalltong02]

可以试试这个开源项目： https://github.com/smalltong02/keras-llm-robot

[wwhc]

不是应该用类似 github.com/imartinez/privateGPT 之类的开源项目么？

[guozozo]

@hui9000 #50 效果如何？