V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jjyyryxdxhpyy
V2EX  ›  Local LLM

大佬们,求助本地部署大模型

  •  1
     
  •   jjyyryxdxhpyy · 267 天前 · 5871 次点击
    这是一个创建于 267 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有下面几个要求:

    1 、本地部署开源的大模型

    2 、有知识库管理

    3 、可提供接口

    有没有满足的产品呀

    39 条回复    2024-12-12 16:38:34 +08:00
    2kCS5c0b0ITXE5k2
        1
    2kCS5c0b0ITXE5k2  
       267 天前
    ollama AnythingLLM
    andytao
        2
    andytao  
       267 天前
    NoobNoob030
        3
    NoobNoob030  
       267 天前
    1. 大模型单独部署,huggingface 或者魔搭社区看看文档就能部署
    2. 知识库管理+接口这种 AI 平台,想傻瓜式开箱即用的,国内推荐 fastgpt ,国外推荐 langflow 。想自己开发就用 langchain
    jjyyryxdxhpyy
        4
    jjyyryxdxhpyy  
    OP
       267 天前
    @NoobNoob030 谢谢
    jjyyryxdxhpyy
        5
    jjyyryxdxhpyy  
    OP
       267 天前
    @andytao 谢谢,我看看
    jjyyryxdxhpyy
        6
    jjyyryxdxhpyy  
    OP
       267 天前
    @emeab ollama 我知道,本地部署了,现在在想怎么集成知识库
    andytao
        8
    andytao  
       267 天前
    楼主考虑的是编程集成吧?

    比如用已有知识库训练模型,调用 API 输出想要的结果等,最好把后续细节细化一下,或许有更多有可行性的建议;
    seeyourface
        9
    seeyourface  
       267 天前
    同问,通过知识库外部引用和使用知识库作为训练集微调模型,有没有这方便的大佬知道哪种方式的效果更好吗
    jjyyryxdxhpyy
        10
    jjyyryxdxhpyy  
    OP
       267 天前
    @andytao 是这样,本地部署一个类似 ollama 的服务,集成开源大模型,然后基于这个模型,集成知识库,对面前端来说,可以调用接口,做进一步修改,适配项目
    jjyyryxdxhpyy
        11
    jjyyryxdxhpyy  
    OP
       267 天前
    @andytao 谢谢,我看看
    Lockeysama
        12
    Lockeysama  
       267 天前
    本地模型和其它可以分开的话,可以试试 https://github.com/langgenius/dify
    支持接入本地模型
    tricker1215
        13
    tricker1215  
       267 天前
    话说有没那些本地“小模型”。
    基于特定的文本内容做成一个问答机器人,文本内容短,但是准确性要求高。
    fredweili
        14
    fredweili  
       267 天前
    hugging face 去找找
    jjyyryxdxhpyy
        15
    jjyyryxdxhpyy  
    OP
       267 天前
    @fredweili 太难找了
    jjyyryxdxhpyy
        16
    jjyyryxdxhpyy  
    OP
       267 天前
    @tricker1215 这不就是,和我要求差不多,本地部署,需要集成知识库
    jjyyryxdxhpyy
        17
    jjyyryxdxhpyy  
    OP
       267 天前
    @Lockeysama 可以
    NewHere
        18
    NewHere  
       267 天前
    英伟达的 Chat with RTX 呢,那个好像是分析本地文件的
    kuqma98
        19
    kuqma98  
       267 天前
    Langchain-chatchat
    supergeek1
        20
    supergeek1  
       267 天前
    https://github.com/chatchat-space/Langchain-Chatchat
    这个应该完全符合你的要求,支持本地模型、知识库管理问答、API 页面都有
    jjyyryxdxhpyy
        21
    jjyyryxdxhpyy  
    OP
       267 天前
    @supergeek1 可以可以,感谢
    jjyyryxdxhpyy
        22
    jjyyryxdxhpyy  
    OP
       267 天前
    @kuqma98 感谢
    supergeek1
        23
    supergeek1  
       267 天前
    @jjyyryxdxhpyy #21 不过这个项目的代码感觉有点杂了(好像也快出 0.3 版本了),如果会开发的话你的需求用 langchain+fastapi 搞一搞也很快能实现
    wwhc
        24
    wwhc  
       267 天前
    echoyangjx
        25
    echoyangjx  
       267 天前
    网易有道这个满足你的需求,https://qanything.ai/
    Adelell
        26
    Adelell  
       267 天前 via iPhone
    jackrebel
        27
    jackrebel  
       267 天前
    留眼学习
    jjyyryxdxhpyy
        28
    jjyyryxdxhpyy  
    OP
       267 天前
    @wwhc 收到
    isquare
        29
    isquare  
       267 天前   ❤️ 1
    fastgpt 比较符合你的需求,dify 我也用过,但是好像外国人做的水土不服。再一个它支持可视化的高级编排 workflow ,上手比较容易,很方便快速搭建。

    1. 本地部署开源大模型,这一点跟知识库本身没关系,你自己随便部署

    2. 知识库,fastgpt 我觉得做的比较好,它比较早使用 QA 问答对儿的模式去构建知识库,后来其他框架比如 dify 也抄了这个模式

    3. fastgpt 的知识库接口兼容 openai 接口的调用,也有自己的格式(用 chatid 存储对话历史之类的),调用比较方便
    jjyyryxdxhpyy
        30
    jjyyryxdxhpyy  
    OP
       267 天前
    @isquare 非常感谢
    charexcalibur
        31
    charexcalibur  
       267 天前
    ollama ➕dify
    yukYaoT
        32
    yukYaoT  
       267 天前
    fastGPT 吧,今天我们也在部署这个
    Jat001
        33
    Jat001  
       267 天前
    @isquare #29 dify 都有中文文档,怎么可能是外国人做的,苏州的公司,去年创建的
    7VO54YYGvw3LOF9U
        34
    7VO54YYGvw3LOF9U  
       267 天前 via iPhone
    一直不太懂如果本地部署大模型不是为了商用,有什么意义
    jjyyryxdxhpyy
        35
    jjyyryxdxhpyy  
    OP
       266 天前
    @hugi 有些内网环境
    jjyyryxdxhpyy
        36
    jjyyryxdxhpyy  
    OP
       266 天前
    @yukYaoT 可以
    conglovely
        37
    conglovely  
       266 天前
    我用 ChatGLM3 + Langchain-chatchat 搭起来了
    拯救者 4060 8G 显存跑满,还借用了点内存 模型要能再精简点就好了
    isquare
        38
    isquare  
       266 天前
    @Jat001 #33 我描述的是我主观感觉,“好像外国人做的”,体验一般的意思
    skykk1op
        39
    skykk1op  
       13 天前
    大佬,参考下方案。我现在也有类似的需求
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1009 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 21:30 · PVG 05:30 · LAX 13:30 · JFK 16:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.