V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Livid
V2EX  ›  Local LLM

exo + MindMac = 完全跑在 localhost 上的接近 ChatGPT 的体验

  •  1
     
  •   Livid · 32 天前 · 3808 次点击
    这是一个创建于 32 天前的主题,其中的信息可能已经有所发展或是发生改变。


    https://github.com/exo-explore/exo

    https://mindmac.app/

    macOS 上还有哪些可以填自定义 ChatGPT API endpoint 的客户端呢?
    第 1 条附言  ·  31 天前
    相比折腾 Linux 上的 NVIDIA Driver + CUDA 版本,exo 在 macOS 上跑起来的过程实在是太简单了。
    15 条回复    2024-12-11 09:10:14 +08:00
    ccbikai
        1
    ccbikai  
       32 天前   ❤️ 2
    自力的 ChatX
    Livid
        2
    Livid  
    MOD
    OP
       32 天前
    @ccbikai 感谢。

    配上了,能用!

    Donaldo
        3
    Donaldo  
       31 天前
    cluster 体验如何?
    luguhu
        4
    luguhu  
       31 天前
    MindMac 不行阿, 自从 15 之后疯狂崩溃, 9 月之后都没更新修复. 买了后悔死了
    Livid
        5
    Livid  
    MOD
    OP
       31 天前
    在 Windows 上可以跑在 WSL2 上:

    Livid
        6
    Livid  
    MOD
    OP
       31 天前
    游戏卡用来干这个显存比较紧张。



    运算的时候整个 Windows 的 UI 都会卡。
    Livid
        7
    Livid  
    MOD
    OP
       31 天前
    zed 编辑器可能可以支持配合 exo 使用:

    wangshushu
        8
    wangshushu  
       31 天前   ❤️ 1
    CherryStudio ,功能非常全面
    Vitta
        9
    Vitta  
       29 天前
    intel mac 是不是就跟本地模型无缘了
    nutting
        10
    nutting  
       29 天前
    我有个 24G 的 P40 ,有意义跑吗
    Livid
        11
    Livid  
    MOD
    OP
       29 天前
    @nutting 如果已经有 Linux 环境的话,几分钟就可以跑起来。
    wen20
        12
    wen20  
       28 天前
    chatbox
    nutting
        13
    nutting  
       28 天前
    mac m4pro 48G 的,本地跑什么模型比较均衡啊,试了一下 qwen-coder:32B,内存嗖嗖增长
    nrtEBH
        14
    nrtEBH  
       17 天前
    exo 和 LM studio 比有什么优势呢
    Livid
        15
    Livid  
    MOD
    OP
       15 天前
    @nrtEBH exo 如果在内网的几台机器上启动,会自动组成一个群集。

    只是,用一堆小机器跑超大模型这件事情可能本身就比较扯。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1028 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 22:23 · PVG 06:23 · LAX 14:23 · JFK 17:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.