electron 有没有办法集成开源 AI 模型？

[superliwei]

目前提供线上 AI 服务的成本居高不下，如果能把 AI 模型集成到客户端中，这块的服务成本省了，用户也得到了方便。

[zcf0508]

用户：我只有核显可以做到 100t/s 吗？

[zhwguest]

TensorFlow js....

[malusama]

用户： 这个客户端怎么好几个 G ？ 里面到底塞了啥

[ysc3839]

libtorch 跑 torchscript ，或者干脆弄个 embedded Python

[nickfox5880]

你们自己做的 ai 模型吗？

[jianchang512]

如果不在意体积，可以用 python 包下，提供个 api 给 electron 用

[wxxxcxx]

Mozilla 好像开源了一个可以以单文件分发大模型的工具

[wxxxcxx]

@wxxxcxx https://github.com/Mozilla-Ocho/llamafile 这个

[shadowyue]

你的 AI 模型如果核显的性能都带的动，那可以试试

[AKAUP]

1. 模型逆向泄露风险
2. 适配多端平台的开发难度评估
3. 用户客户端算力、处理芯片的不统一，可能会带来使用体验的降低
4. 客户端体积包增大

这是我想到的四个缺点叭，不知道合不合理

[Jirajine]

能跑是能跑，但这可不能像 electron 每个应用都带一个 chromium 一样每个应用都带一个 llama 。

[kneo]

可以用 ollama 本地部署，然后你用 http api 调用本地服务就可以了。
你的 electron 实现端只需要负责调 API ，可以配置为使用云端的（比如 openai ）或者本地的。类似实现一大把，自己找找吧。可以搜索 local llm 之类的。

[yolee599]

线上服务都嫌成本高，那本地部署成本更高了

[Curtion]

看什么模型，一般可以使用 onnxruntime 来做

[horizon]

当然可以，本地大模型才是未来

[Garphy]

用 ollama 可以提供模型 api ，可以命令行导入第三方模型 gguf 文件

[cleanery]

@horizon #15 前提是设备中带有 NPU

[knightgao2]

3.5 应该成本很低呀，你可以考虑限制免费用户的频次，根据二八原则，选个大多数人可以接受的就行

[jones2000]

直接卖给客户一个计算盒子，模型计算直接在盒子里计算。