1
cexll 152 天前
现目前无解,花大价钱用 llm 推理所有 rag 的内容 微调进大模型 ,不过效果也没有那么好,毕竟 llm 的能力摆在那里
|
2
mercurylanded 152 天前
大部分 rag 优化的知识检索这块,prompt 还是需要你自己按照场景去调试吧
|
3
Garphy 152 天前
我猜主要还是大模型提纯不够,以及外挂向量与大模型内部 token 向量并没有融合的很好
|
4
NoobNoob030 152 天前
索引策略:传统 milvus 向量索引取 n 条,用 es 关键字索引取 n 条,然后具体 n 数量和 chuck size 以及权重看场景,最后拼起来做 prompt
prompt 的姿势就比较多,思路大致就是:效果不好 -> (拆 prompt 步骤 / 加校验步骤 / 换 prompt 方式) 三选一 -> 测试效果。重复这个循环能满足大部分需求 类似劳动法顾问助手这种需求。与其在市面上找成熟产品方案不如自己写写 python ,写起来很快而且可以灵活应对需求变动 |
5
lookStupiToForce 152 天前
|