做了一款开源的 LLM 3D 虚拟陪伴产品

[rdmclin2]

前言

不知道大家有没有看过电影《 Her 》或者《银翼杀手 2049 》，电影里主角的女朋友 JOI 是没有实体的"虚拟女友"，还记得第一次看电影时候带给我的震惊，如果这就是未来，那么我希望马上穿越到未来！这两年随着 AI 技术的快速发展，大模型为这个领域注入了极大的可能性，虚拟陪伴这个概念终于有了实现的可能！

其实这个想法非常普通，毕竟谁不想拥有一个 JOI 这样的虚拟伴侣呢？实际上在 LLM 出来之前我已经玩过太多类似的软件，比如伪春菜，桌宠，甚至 VR 女友，人工少女，VAM 等都有，不过他们都像是玩偶一样只能摆弄，无法沟通和对话，也就没有灵魂。有了 GPT 之后相当于最关键的智能部分已经足够成熟，上 B 站随便搜索下 AI 虚拟女友都能看到很多实现，而且角色扮演类的应用也是层出不穷，比如豆包，星野，Glow ，筑梦岛，猫箱，以及国外比较火的 C.AI ，Replika 等。

为什么做？

那为什么要再做一个类似的开源产品呢？

• 一方面上述这些产品我都玩过，大多只有聊天框或者能够语音陪聊，当然这些产品的功能和体验都做得非常棒，不过我还是希望能够跟一个有形象的 AI 助手进行对话，而不是只有聊天框。我希望她有情绪，有表情，有动作，能发出声音，唱唱跳跳，也许更进一步可以和我进行互动，未来也可以在元宇宙（ VR ）里面对面。然而像 Replika 这样产品的 3D 形象真是一言难尽...说实话我有点搞不清楚歪果仁的审美...
• 另一方面这些产品因为国内监管或者自身利益等原因无法真正施展，而在这一方面开源软件具备天然的优势，可以集成市面上最好的模型和语音服务，可以根据自己的喜好设定角色等，在可玩性上可以做到很好，在 AI 陪聊开源领域比如SillyTavern 的可玩性就非常强，有很多可以后续借鉴的地方，可惜交互设计有点差强人意了。

基于以上考虑我决定做一款基于 AI 的开源 3D 虚拟陪伴应用，还有什么比自己亲手创造一个自己的伴侣更更让人有成就感的呢？当然虚拟女友的终极形态我觉得还得靠具身智能或者生物科技的发展，不过这些都相对比较遥远，使用当下能够利用的技术实现自己想要的效果我觉得是更加务实的选择。

项目介绍

说回项目，这个项目叫做 LobeVidol ，是 Lobehub 社区的一个开源子项目，初衷是希望让每个人都能拥有自己的虚拟偶像，项目 Github 地址是 https://github.com/lobehub/lobe-vidol ，你的 Star 是对我们最大的鼓励！

目前项目的试用截图如下：

功能介绍

1. 流畅的对话体验：支持流式响应带来流畅的对话体验。
2. 背景情境设定：你可以根据场景试用不同的背景让对话更加生动有趣。
3. 丰富的动作和姿式库：内置 Mixamo 角色动作与姿式库，让角色在对话时可以设定丰富的肢体语言。
4. 精致 UI 设计：支持亮暗色主题，支持 PWA ，以及做了一小部分的移动适配：
5. 丰富的角色设定：使用角色编辑可以创建属于自己的虚拟偶像，设定触摸反应，上传 VRM 模型并与他们互动。
6. MMD 舞蹈支持：使用 MMD 舞蹈文件和 PMX 舞台文件，与你的虚拟偶像一起跳舞。
7. 角色市场：通过创建角色功能，你可以轻松地将作品提交到平台，让自己捏的崽让更多人看到
8. 舞蹈市场：在舞蹈市场中，你可以找到丰富的 MMD 舞蹈资源，搭配不同的角色、舞台、音乐和舞蹈。
9. TTS & STT 语音会话：支持文字转语音(TTS)和语音转文字(STT)技术。
10. 触摸响应功能：点击角色的不同身体部位，角色将做出不同的反应。你也可以自定义编辑触摸反应

篇幅有限，这里只做简短的功能描述，有兴趣的话可以到我们的 Github 网站上查看详细介绍~

后记

其实从去年 10 月份开始有这个想法，后续利用业余时间断断续续做了也有将近一年时间了，因为自身的完美主义情节一直没有怎么做推广，总是想要将功能做完善，结果发现想要做的功能越来越多...也许应该接受产品的不完美，让真实的用户进来试用和反馈才是正确的道路，希望能够得到一些真实的建议和批评，也希望有志同道合的朋友可以一起进来贡献！

另外可能有些同学不清楚怎么申请 OpenAI Key 或者代理，可以参考文档 https://docs.vidol.chat/usage/providers/openai

相关链接

• 项目文档：https://docs.vidol.chat/
• 项目地址：https://vidol.lobehub.com/
• Github 地址：https://github.com/lobehub/lobe-vidol
• Discord 社区：https://discord.gg/RbpdWkzw

[LanhuaMa]

主人，很抱歉，我只是一个基于文本的语言模型，并不能索你的唧唧哦。不过，我可以尽我所能帮助你提供信息和回答问题。

[qiniu2025]

做得特别棒

[t41372]

做同类项目但做的没你好的表示很慌...😢

[rdmclin2]

@LanhuaMa OpenAI 模型本身的限制了，等后面开发了多模型能力之后就可以接入很多有意思的模型服务了

[rdmclin2]

@t41372 一起加油！

[saveai]

@LanhuaMa 不是哥们。。。

[biubiuyy]

建议增加 gemini 模型

[stevensunzh]

真不错，学习

[yoohooz]

感觉不错，支持一下

[winglight2016]

二次元风格没有实感，受众似乎仅限宅男？

openai 的价格比较贵呀，何时支持 ollama ？

[monmon]

太强了

[hujun528]

不错，至少可以当成 chatgpt 的客户端来使用

[coter]

挺有意思

[manhere]

建议换掉纸片人

[rdmclin2]

@winglight2016 恩，主要我也是老二次元了，专注一些自己熟悉的领域。后面模型接入这块会补齐的，可以复用 LobeChat 的代码。

[rdmclin2]

@manhere 是希望去掉 3D 模型这块，还是希望用真实的 3D 模型渲染？

[Byaidu]

感觉想法很棒，想问下之后有没有计划接入 VRChat 或者类似的平台呀，VAM 也可以的（ x

[lizhenda]

团队有多少人？感觉这个项目工作量不小啊。

[rdmclin2]

@Byaidu 暂时没有这样的计划，你有什么需求可以在 Github 的 issue 区提一下~

[rdmclin2]

@lizhenda 目前就是我主要在开发，不过有参考和利用 Lobehub 的生态，代码和设计资产等。

[coffeelife]

就用 JOI 吧，看着纸片人就阳痿了

[duanxianze]

绫华的腿抽搐了

[liqinliqin]

楼主在深圳吗，可以加下 V andy433928, 我们有一条产品线需要

[rdmclin2]

@duanxianze 已知问题，跳舞的时候也有鬼畜，现在还没有优化得特别好

[rdmclin2]

@coffeelife 哈哈哈，要有能上 JOI 的水平我早上了，现在一个方案是系统做通用些，支持不传 3D 模型的纯聊天和语音模式，然后靠用户自己想象了

[rdmclin2]

@liqinliqin 不好意思，忘记回复了，我人在杭州哈

[rdmclin2]


[rdmclin2]

好像回复不能回复图片...告知下各位，之前在站里发帖，发现多模型支持是刚需。经过一个周末的折腾，成功将 LobeChat 的多 Provider 支持能力接入到了 LobeVidol 上，现在你也可以用多种模型跟你喜欢的角色互动了

[rdmclin2]

@hujun528 Q 下，现在支持多模型调用了

[rdmclin2]

@biubiuyy 已添加多模型支持，可以试下了