我意思是,把我们很多 FAQ 问题和答案,以及更多的资料喂给 ChatGPT ,然后你去问 ChatGPT ,它就给你回复了
但我怎么把自己的那么多资料喂给 ChatGPT 呢?
总不能每次你问一次,我先把资料喂给 ChatGPT 一次吧?那多费劲,更何况 GPT-3.5 只能接受 3000 个 token 的输入,GPT-4 也只能接受 32000 个 token
1
malusama 2023-04-04 04:29:52 +08:00
find tune
|
2
gaobh 2023-04-04 06:41:30 +08:00 via iPhone
自己搭一个知识库,再结巴分词,再把问题根据相似度选择最相关的片段处理。
|
3
swulling 2023-04-04 08:02:40 +08:00 via iPhone 1
@malusama gpt 3.5 和 4 还没有开放 fine-tuning 的 API
用 https://platform.openai.com/docs/guides/embeddings 当然现在有很多成熟的库,比如 llama_index 和 langchain |
4
knightdf 2023-04-04 08:55:38 +08:00
|
5
xmumiffy 2023-04-04 09:03:55 +08:00 via Android
|
6
admin9 2023-04-04 09:19:56 +08:00
内容数字化,使用 cosine similarity 算法找出跟问题最相关的内容,作为 prompt 传给 GPT
https://github.com/openai/openai-cookbook/blob/main/examples/Question_answering_using_embeddings.ipynb |
7
RoshanWu 2023-04-04 09:48:53 +08:00
|
8
fg990 2023-04-04 09:56:50 +08:00
服务机器人是需求最明确。
|
9
lower 2023-04-04 10:13:11 +08:00
chatgpt 肯定是希望其他的公司、产品、服务全都以插件的形式接入在它平台被集成和调用……
|
10
diehe 2023-04-04 10:28:05 +08:00
@swulling llama_index 好像就是 chatindex ,langchain 这个我也关注到了,准备自己搭建一个玩玩。就是不知道,质量咋样!
|
11
SmiteChow 2023-04-04 10:31:51 +08:00
请参考 chatpdf.com
|
12
aCodingCat 2023-04-04 10:59:04 +08:00
我也有这个疑问
如果是聊天场景,难道用户每次发送,都要附带之前全量的聊天记录吗?那 token 岂不是很容易就爆了 |
13
duffercn 2023-04-04 23:45:20 +08:00 via iPhone
Embeddings
|
14
alanhe421 307 天前
嗯 此类需要本质是拓展 AI 模型知识库,so ,embedding 合适
|