V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
avenger
V2EX  ›  OpenAI

如何用 chatgpt 训练自己的客服机器人?

  •  
  •   avenger ·
    bolechen · 2023-04-07 02:26:33 +08:00 via iPhone · 6273 次点击
    这是一个创建于 384 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为我们主要做私域电商,主要是微信和有赞平台,最近有想法用 ai 客服代替 80% 的客服工作,在研究 chatGpt 的 fine-tuning 模型训练,我们有过去 5 年的客服聊天记录数据,想自己训练一个模型出来。

    参考的文档是这个 https://platform.openai.com/docs/guides/fine-tuning

    中文圈这块的资料比较少,自己花了 50 多刀出来的效果并不理想 [捂脸]

    拿训练出来的模型去测试,完全是答非所问。 几乎找不到相关中文资料。

    正准备试 gpt-index ,请问大家有比较成熟的解决方案吗?谢谢!

    第 1 条附言  ·  125 天前
    最后用了 dify.ai 的开源方案,上线三个月了,效果感觉还可以接受,体验地址在这里:
    https://mp.weixin.qq.com/s/Av4v7KIlIcNm-Uqn8zLQZA
    27 条回复    2024-04-16 22:16:32 +08:00
    hellojay
        1
    hellojay  
       2023-04-07 07:53:40 +08:00 via iPhone   ❤️ 1
    等业界成熟的方案吧。还没有听说通过 fine tune 或者 index 等办法做出来真正可用的方案
    maltoze
        2
    maltoze  
       2023-04-07 09:04:36 +08:00   ❤️ 1
    gpt-index(llama_index)不就是做这个的么
    shenhuilin0
        3
    shenhuilin0  
       2023-04-07 09:25:53 +08:00 via Android   ❤️ 1
    avenger
        4
    avenger  
    OP
       2023-04-07 10:55:59 +08:00
    @maltoze 查了一些资料,说是 gpt-index 做 QA 系统比较合适,做客服系统好像还不够智能。
    avenger
        5
    avenger  
    OP
       2023-04-07 10:56:29 +08:00
    @shenhuilin0 谢谢
    hellojay
        6
    hellojay  
       2023-04-07 11:11:33 +08:00
    我尝试过 OP 类似的东西,gpt-index 这些方案都试了,全都不太满意,回答经常是驴唇不对马嘴。

    客服系统对回答的要求其实比较高的,底线是不能胡说八道,但是用 gpt 你完全无法控制
    nicolaz
        7
    nicolaz  
       2023-04-07 11:39:01 +08:00   ❤️ 1
    可以参考下这个方案
    "把自己的文档拆分成一段一段的信息,然后喂给 ChatGPT 让它把这些信息转换成一个个的事实问答对,并以 JSON 形式返回回来。"
    "之后将这些 prompts 数据发送给 OpenAI 的接口基于 davinci 的基础模型训练一个专属模型"

    如何用 ChatGPT 构建你的专属知识问答机器人
    https://blog.frankzhao.cn/build_gpt_bot_for_doc/
    avenger
        8
    avenger  
    OP
       2023-04-07 21:40:08 +08:00
    研究了一天,目前比 fine-tune 较靠谱的方案是用 Embeddings:

    ```
    1. 使用 embeddings API 把内容转变成向量( vectors )
    2. 用户输入一段话( query ),根据 vectors 找到几条合适的内容( contents ),并拼装成 prompt
    3. 把 prompt 喂给 gtp-3.5 或者 fine-tuning 模型( model )
    4. done
    ```

    #3 就是这个思路,官方相关教程链接: https://github.com/openai/openai-cookbook/blob/main/examples/Question_answering_using_embeddings.ipynb
    hoky
        9
    hoky  
       2023-04-13 19:29:16 +08:00
    @nicolaz @avenger 这个方案是不是成本过高?前期训练要花费不少美元?

    gpt-index 在 build index 过程中似乎也需要花费 openai
    avenger
        10
    avenger  
    OP
       2023-04-14 01:22:49 +08:00 via iPhone
    @hoky 第一次成本比较高 看你的数据有多少
    hoky
        11
    hoky  
       2023-04-17 22:21:17 +08:00   ❤️ 1
    kiah
        12
    kiah  
       350 天前
    老哥有进展了吗 公司也有类似需求
    avenger
        13
    avenger  
    OP
       341 天前
    @kiah 用我们过去 5 年的历史数据,训练了一个 @男人袜 的客服妹子,欢迎大家来调戏,体验地址 https://udify.app/chat/RkCYZlpzZyhAsumL
    avenger
        14
    avenger  
    OP
       341 天前
    用的 Dify 这个开源项目
    kiah
        15
    kiah  
       340 天前
    @avenger 体验体验哈
    kiah
        16
    kiah  
       339 天前
    @avenger 看着还行 楼主 确定用这个方案了吗
    fengtalk
        17
    fengtalk  
       334 天前
    陈老板的需求,关注一波。
    avenger
        18
    avenger  
    OP
       333 天前
    @kiah 是的,目前是 Dify
    13482034233
        19
    13482034233  
       329 天前
    我们公司也是一家电商平台, 也想做 AI 客服机器人, Dify 用下来合适吗
    avenger
        20
    avenger  
    OP
       329 天前
    @13482034233 您可以体验一下,体验地址在这里:

    https://mp.weixin.qq.com/s/Av4v7KIlIcNm-Uqn8zLQZA
    Vincent777
        21
    Vincent777  
       259 天前
    @avenger 大佬,看到您训练出来的客服我觉得非常牛逼,我也想训练一个。但是我技术比较差,不知道您可不可以出一个更详细一点的教程?以及想问一下训练的花费是多少,训练好之后还需要花钱吗?
    avenger
        22
    avenger  
    OP
       258 天前
    @Vincent777 没花钱,用的 dify.ai 的开源方案,你可以去试试,主要要导入的历史数据集,要越准确效果越好。
    Vincent777
        23
    Vincent777  
       247 天前
    @avenger 请问这个只能网页端吗,有办法接入到淘宝、京东、抖音的店吗
    avenger
        24
    avenger  
    OP
       218 天前
    @Vincent777 有提供 api ,接入其它平台可能需要自己开发,我只测试接入了微信客服。
    DamonYJ
        25
    DamonYJ  
       155 天前
    你好,我也在尝试用 dify 来搭建 AI 客服,有一个问题想请教一下,我在上下文只加了一个 Q&A ,提示词也说让它在上下文中找答案,为什么还是会自己编答案,有什么解决方案吗
    avenger
        26
    avenger  
    OP
       152 天前
    @DamonYJ 优化一下 prompt
    bug51
        27
    bug51  
       8 天前
    @avenger Const 是什么材质?

    🤖
    对不起,我不知道~

    Air 系列是什么材质?

    🤖
    对不起,我不知道~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5778 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 02:37 · PVG 10:37 · LAX 19:37 · JFK 22:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.