问题描述:准备搭一套企业内部问答系统,其中包含研发团队中通用的组件使用的问题,因此一方面需要把相关组件的使用手册收录到知识库中,另一方面希望能直接把相关代码喂给大模型,这样在回答相关问题时能给出些示例
诉求:计划在公司搭一套大模型的对话平台,回答企业内部员工的问题
使用群体:公司员工
知识库内容:
方案:
以上知识库的搭建基本能满足非研发相关的问题咨询,但是关于研发相关的,效果可能不好,因此该如何处理代码相关的问答,能否通过 RAG 来实现,是否需要 Fine-tuning ?
各位有没有过类似的实战经验,或者提供些关键词,方便我了解下
1
LuckyLauncher 121 天前
现在 RAG 的准确度基本都不高,导致大模型幻觉还是很严重,你可以试试,效果应该不会很理想
|
2
liprais 121 天前
这个事只会给你惹一身骚,不会有别的结果
|
3
ahjiangwu OP @LuckyLauncher 是的,所以现在没有很好的思路,不知道该如何下手,按照我自己的理解,纯 rag 应该不咋样,代码库的向量化也不知该如何做
|
5
Clannad0708 121 天前
最近在搭建 kubelfow+milvus 。调研搭了一套,倒是没有实际使用情况。蹲蹲楼主后续技术选型,怎么实现的模型训练与 AI 的一整套流程
|
6
targz 121 天前
使用群体是公司内部的话,可以玩,但是要少玩
|
7
yinmin 121 天前 via iPhone
( 1 )你需要微调大模型,而不是 rag
( 2 ) 8B 是玩具,需要至少 50B 以上的参数 ( 3 )大模型会幻想,回答有误导致的问题,锅一个一个甩过来,OP 能接住吗? |
8
mwuxlcanrh 121 天前
要明确自己这个机器人的边界是啥,初期最好聚焦 1-2 个功能点,使用 prompt 进行问题的识别与拆解。
llm 不是一颗万能的银弹,好的 robot 背后需要非常大的工程开发。先从小功能做起吧。 |