V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
xingfukuaile
V2EX  ›  分享创造

部署了一个 Llama3 [8B 和 70B] 欢迎来尝试

  •  1
     
  •   xingfukuaile · 248 天前 · 3942 次点击
    这是一个创建于 248 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一键直达

    8B 版本很惊喜,回复很快,70B 的回复有点慢

    Imgur2

    第 1 条附言  ·  247 天前
    感谢 18 楼提供的方法,已添加系统回复中文规则
    第 2 条附言  ·  245 天前

    现在 添加了 中国联通AI创新中心 的模型

    但是不确定是转换模型和写Modelfile的存在错误还是模型本来如此,它表现的非常糟糕

    第 3 条附言  ·  244 天前

    联通这个模型已上传到 Ollama 社区 ,ollam/unichat-llama3-chinese-8b

    第 4 条附言  ·  243 天前

    现在添加了 清华博士王慎执微调的Llama3模型,感觉还不错

    https://ossk.cc/file/3b4444113a25ada3faf21.png

    34 条回复    2024-07-20 00:17:38 +08:00
    codingBug
        1
    codingBug  
       248 天前 via Android
    能问问是部署在哪里的吗?
    blackwhites1977
        2
    blackwhites1977  
       248 天前
    用的是啥框架啊?
    haiku
        3
    haiku  
       248 天前 via Android
    groq 应该是目前最快的服务,定制芯片
    cwcc
        4
    cwcc  
       248 天前
    llama3 不微调的话还老是回复英语,即使强制 prompts 中文也老是忘记。等个微调中文的。
    zackzergzeng
        5
    zackzergzeng  
       248 天前
    楼主审批通过了? UI 是 Llama3 自带的吗?
    goodryb
        6
    goodryb  
       248 天前
    @cwcc 同感,本地跑个 8b ,感觉总是记不住中文
    NikoXu
        7
    NikoXu  
       248 天前
    ollama 吧
    NikoXu
        8
    NikoXu  
       248 天前
    70b 用的什么配置的机器 ?
    gongquanlin
        9
    gongquanlin  
       248 天前
    翻译方面 80b 够用了
    gongquanlin
        10
    gongquanlin  
       248 天前
    8b ,不是 80b 。而且效果不错
    @gongquanlin
    siknet
        11
    siknet  
       248 天前
    测试了一下,好像比 3.5 略微聪明。8B 的话大概要多少显存?
    zsxzy
        12
    zsxzy  
       248 天前
    我也部署了一个, 在 3060 6G , 跑得很慢
    john990
        13
    john990  
       248 天前
    @gongquanlin #10 我试过之后,llama3 不管是 8b 还是 70b ,加上一些限定条件,翻译就完全崩了。
    中文翻译只能返回一些标点符号
    renmu
        14
    renmu  
       248 天前 via Android
    llama 的中文语料太少了,中文还是等微调吧
    onionnews
        15
    onionnews  
       248 天前
    @cwcc 用这个:Always response in Chinese, not English.
    qloog
        16
    qloog  
       247 天前
    @goodryb
    @renmu 中文微调版: https://huggingface.co/UnicomLLM/Unichat-llama3-Chinese-8B

    由中国联通 AI 创新中心发布业界第一个 llama3 中文指令微调模型(全参数微调),2024 年 4 月 19 日 22 点上传
    goodryb
        17
    goodryb  
       247 天前
    @qloog 看反馈似乎只是微调效果不是很好,看联通回复说可能二次训练,在等等吧
    moyuge
        18
    moyuge  
       247 天前   ❤️ 1
    mkroen
        19
    mkroen  
       247 天前
    部署了 llama-8b ,P40 大概占了 16G 显存,感觉英文交流的效果比中文交流好很多,也试了第三方的中文微调模型,效果还是不尽人意。不过速度比较快,效果相比于 Qwen1.5-7b 的效果要好。
    craiiz
        20
    craiiz  
       246 天前
    有大神有网盘链接嘛,不知道为什么申请下来的网址在运行 download.sh 时,选择完要下载的模型后就报错:Forbiden...
    xingfukuaile
        21
    xingfukuaile  
    OP
       246 天前
    @codingBug 部署在 AutoDL 上了
    xingfukuaile
        22
    xingfukuaile  
    OP
       246 天前
    @blackwhites1977 后端 Ollama, 前端 OpenWebui
    xingfukuaile
        23
    xingfukuaile  
    OP
       246 天前
    @zackzergzeng UI 是 OpenWebUI, 审批没有,体验玩玩
    xingfukuaile
        24
    xingfukuaile  
    OP
       246 天前
    @NikoXu 48G 的卡
    xingfukuaile
        25
    xingfukuaile  
    OP
       246 天前
    @craiiz 一方面这个好像需要开代理,另一方面这个好像提提示没权限之后就要申请新的链接
    xingfukuaile
        26
    xingfukuaile  
    OP
       246 天前
    @craiiz 可以试试这个 https://www.codewithgpu.com/m/Meta-Llama ,Meta Llama3 8B 和 8B Instruct 权重
    craiiz
        27
    craiiz  
       246 天前
    @xingfukuaile 好的,感谢
    craiiz
        28
    craiiz  
       246 天前
    @xingfukuaile 不清楚,llama2 的时候是可以很顺利地下载的,llama3 不知道为什么就不行。不知道是不是因为我地区选了 HK 。
    goodryb
        29
    goodryb  
       246 天前
    @moyuge 试了下刚开始还正常,第二个问题就开始中英混合了

    >>> 红烧肉怎么做
    红烧肉是一道非常经典的中国菜肴,以下是它的做法:

    **材料**

    * 500g Pork Belly or Pork Ribs
    * 2 tablespoons Soy Sauce
    * 1 tablespoon Red Cooking Wine (or substitute with Red Vinegar)
    * 1 tablespoon Sugar
    * 2 cloves Garlic, minced
    * 2 tablespoons Ginger, sliced
    * 1 cup Chicken Broth
    * 1 tablespoon Cornstarch
    * Salt and Pepper, to taste
    * Scallions, chopped (optional)

    **做法**

    1. **准备材料**:将猪肉洗净,切成小块备用。
    2. **热油锅**:在大锅里加两三勺油,让它烧开。
    3. **下料**:将切好的猪肉下入油锅,不断翻动,使得猪肉表面均匀地着油。
    4. **添加调味料**:加入 Soy Sauce, Red Cooking Wine, Sugar, Garlic, Ginger ,和 Chicken Broth ,继续翻动使其充分混合。
    5. **制卤**:将 Cornstarch 和水混合成浓缩液,然后加入锅中,继续煮约 30 分钟,使得卤变得很 Thick 和 Rich 。
    6. **seasoning**:加盐和胡椒粉调味,使其适合自己的口味。
    7. **装盘**:将红烧肉装在碟子里,洒上一些 Scallions ,如果需要。

    ** Tips**:

    * 用高脂肪的猪肉来做红烧肉可以使得卤更加丰富和 tender 。
    * 在下料时不要让猪肉表面太干,因为这会导致最后的卤不够 Thick 。
    * 可以根据自己喜欢的程度增加或减少糖的量。

    **Tips**

    * 使用高脂肪猪肉可以使得卤更加丰富和 tender 。
    * 下料时不要让猪肉表面太干,这样可以确保最后的卤够 Thick 。
    * 可以根据自己的口味增加或减少糖的量。
    zackzergzeng
        30
    zackzergzeng  
       246 天前
    @xingfukuaile #23 那在哪拿的代码?我申请了还没通过
    xingfukuaile
        31
    xingfukuaile  
    OP
       246 天前
    @haiku 另外用了 IMartialBE/one-api 这个做网关
    xingfukuaile
        32
    xingfukuaile  
    OP
       246 天前
    @zackzergzeng 我使用 ollama.com 部署的
    wsbqdyhm
        33
    wsbqdyhm  
       219 天前
    @moyuge 可以简单说下怎么弄吗,新建一个 Modelfile 文件,内容编辑好复制进入, 运行出错啊
    daisyfloor
        34
    daisyfloor  
       161 天前
    @zsxzy 你这个 3060 6G 能跑 gamma2:9b 么 以及 qwen2:7b 前者 我一调用 api ,就 500 错误,后者用着用着就 500 ,勉强能用。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1109 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 18:48 · PVG 02:48 · LAX 10:48 · JFK 13:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.