V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
samar1tan
V2EX  ›  硬件

16 年的电子垃圾到货🥵

  •  
  •   samar1tan · 84 天前 via iPhone · 3617 次点击
    这是一个创建于 84 天前的主题,其中的信息可能已经有所发展或是发生改变。

    四块 NVIDIA TESLA P4 想跑 Meta 的开源大模型 Llama (🦙 有同好吗

    7 条回复    2023-12-04 15:05:39 +08:00
    GeekGao
        1
    GeekGao  
       84 天前   ❤️ 1
    只能跑 LLaMA-7B
    kanepan19
        2
    kanepan19  
       84 天前   ❤️ 1
    请教一下,用的什么板子能上 4 显卡?
    samar1tan
        3
    samar1tan  
    OP
       84 天前 via iPhone
    @kanepan19 还在看,行是行的,具体型号到时候回你老哥
    6m7
        4
    6m7  
       83 天前   ❤️ 1
    建议了解下超威系列的服务器主板,例如 x10 ,x11 这种的,尤其是 AMD 的 EPYC 平台
    我有一张,超威的 intel 主板 x10dri ,7PCIE 插槽,但是通道比较少
    而超威的 amd 主板,x11 之类的,8 条全通道 PCIE ,印象中是这样
    海鲜市场里面也有很多选择,不管是二手的主板,还是超威的主机
    NoDataNoBB
        5
    NoDataNoBB  
       83 天前   ❤️ 1
    这不得上个服务器?风扇嗡嗡嗡的那种
    Regened
        6
    Regened  
       83 天前   ❤️ 1
    @6m7
    x10x11 偏贵,小黄鱼上现在联想 RD450 拆机双路才三四百,普通 E-atx 版型的
    Epyc 通道是多,但架不住主板贵,通道齐全的基本都还在 2k+,低于 2k 都是服务器异型板普通机箱装不了
    Regened
        7
    Regened  
       83 天前   ❤️ 1
    不太清楚跑 llm 模型对核心和内存大概是什么要求,不过既然捡 P4 了应该也不会有太高要求

    如果只要 PCIe 通道多点的话就 C612 平台,联想 RD450 主板 300 ,E5v4 几十块

    要考虑以后小升级的可以看新一点的 3647 平台,6 通道内存,pcie 也更多,cpu 现在也便宜了,还有比较偏门的澜起 cpu
    不介意服务器噪音的话,浪潮 5212m5 现在很便宜,支持 4 条 x16 ,准系统 1k 出头
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5983 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 02:03 · PVG 10:03 · LAX 18:03 · JFK 21:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.