V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
etherealai
V2EX  ›  程序员

基于 ChatGLM 的中文 AGI 项目 🚀

  •  
  •   etherealai · 2023-06-18 21:19:50 +08:00 · 1243 次点击
    这是一个创建于 525 天前的主题,其中的信息可能已经有所发展或是发生改变。

    本地部署 ChatGLM-6B API 服务,将 ChatGLM API 接入 BabyAGI ,使得 BabyAGI 运行时调用 ChatGLM 的结果。

    将 BabyAGI 的提示和输出都进行了中文优化,使其输出中文结果。Embedding 使用针对中文优化的 text2vec-large-chinese 模型。

    ChatGLM 占用大约 12G 左右显存,embedding 模型大约占用 3G 左右显存,最终大约共使用 15G 显存成功运行。

    GitHub 项目地址: https://github.com/EmbraceAGI/LocalAGI

    效果图:

    imgs

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5547 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 08:32 · PVG 16:32 · LAX 00:32 · JFK 03:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.