1
clino 20 天前
你这个需求是不是就是知识库聊天机器人的需求,就是 RAG 方式的就能满足
用 QAnything FastGPT 之类的可以试试 但是问题是你如果不想要调云上的 api ,那就要本地有显卡才能跑大模型,你有能跑大模型的显卡吗? |
2
meeop 19 天前
没那么复杂:
1 导出聊天记录(纯文本) 2 随便找一个大模型,claude 上下文 200k ,国内好像有上下文 1m 的 3 把聊天记录塞给大模型,然后问他 请帮我总结我和 xx 的聊天记录,要求如下。。。 就完事了 现在 ai 模型上下文很长,你日常聊天记录很可能都没有 200k 如果超过了,可以适当清洗数据,比如让 ai 帮你写一个清洗数据的脚本“请帮我写一个脚本,将聊天记录拆分成每个人的对话一个文件,示例数据如下。。。” 然后转换问题为大模型上下文能容纳的量级 |
3
meeop 19 天前
另外还有很多解析 doc 文档的服务,就是让你上传 doc ,然后基于 doc 对话,应该直接满足你的需求
只不过都有点隐私问题 |
6
mdb OP @clino 不知道属不属于知识库,就是想让它总结我给的内容,然后问它相关的问题,它可以根据我提供的内容进行总结回答,比如我问有谁向我借过钱,它可以列出在以前聊天的时候谁谁谁提到过借钱的事,QAnything 刚了解了下确实问答相关的,还有一个通义千问的模型不知道合不合适
|
7
clino 19 天前 1
如果是 RAG ,那么相关性的检索是由 embedding 和向量数据库来完成的,然后 LLM 的功能是对搜索到的功能进行总结回答,这里效果好不好要看 embedding 那部分好不好,而主要不是由 LLM 来决定的,当然现在 RAG 经过很多迭代发展出来很多做法比如向量检索和全文检索相结合之类的
如果不用 RAG ,那就要用上面说的超长上下文的做法,这种成本可能也不低,而且一般也不是本地开源 LLM 能搞定的,需要比较强的硬件 |
8
xiaokangz 19 天前 via iPhone
最近刚好有研究过一点点,对于这类全局性问题,一般的 RAG 基本没法满足需要,可以尝试下 LightRAG 或 GraphRAG 。使用时需要先借住 LLM 建 Graph ,建完之后就可以回来诸如“比如帮我总结下我和谁谁谁的聊天记录”的问题。当时我用 GPT-4o mini 建的 Graph ,效果还可以的。
|
9
mdb OP @xiaokangz 好的,感觉你说的这个比较符合我的理解,就是聊天内容属于 AI 基础知识的一部份,另外就是 GPT-4o mini 对本地配置要求是什么样的,不知道我的笔记本能不能跑得动
|