V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
crazychang
V2EX  ›  问与答

信创 gpu 和 英伟达 gpu 如何选择?

  •  
  •   crazychang · 242 天前 · 2934 次点击
    这是一个创建于 242 天前的主题,其中的信息可能已经有所发展或是发生改变。
    项目背景:国资尾部券商,迫于 CIO 想出 AI 相关成绩,遂需采购 gpu server 。只做 llm 推理 不做调优 可能会放若干个 rag 系统上去。

    考虑到以下几点有些犹豫:
    1.证监会现对券商有要求,每年新投入的软硬件预算有信创指标(今年 20%-30%?逐年递增)。gpu 预算在总预算中只占 4%左右
    2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%, 华为的产品还没有了解性能。
    3.从自身出发,nvidia 不论是开发还是跑开源应用还是能方便很多。
    4.此次立项标题可能是‘算力资源建设’,所以要考虑后续新增 gpu 的拓展性。
    5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万,我们的预算 150 万左右,需要测试环境生产环境至少各一台。
    20 条回复    2024-04-27 10:48:33 +08:00
    wetalk
        1
    wetalk  
       242 天前
    既然上头有要求,就按照要求来,剩下的 80%采购 nvidia
    crazychang
        2
    crazychang  
    OP
       242 天前
    @wetalk 我可能没说清楚 总预算不只是 gpu 预算 gpu 总预算需要有 20%-30%购买信创产品,gpu 预算只占 4%左右,也就是那 150 万。所以其实是个二选一的处境。
    renmu
        3
    renmu  
       242 天前 via Android
    如果你是领导就买信创,不是就买英伟达
    tangtang369
        4
    tangtang369  
       242 天前
    研发用肯定英伟达
    YGHMXFAL
        5
    YGHMXFAL  
       242 天前
    不是政策要求谁愿意为信创买单啊
    feather12315
        6
    feather12315  
       242 天前 via iPhone
    领导让买啥买啥, 不用犹豫不用纠结。
    jlkm2010
        7
    jlkm2010  
       242 天前
    考虑后续新增 gpu 的拓展性,那还是选国产算力卡吧,昇腾 910B 性能更强一些
    kongyiji
        8
    kongyiji  
       241 天前 via iPhone
    那肯定是信创了,还要质疑?
    sakilascott
        9
    sakilascott  
       241 天前 via Android
    你有权利做这个决定吗?
    如果有,那肯定是谁的返点多买谁的。
    如果没有,别瞎操心了。
    zaizaizai2333
        10
    zaizaizai2333  
       241 天前
    英伟达你能买到 V100 嘛?

    灰色路径买到的,一旦被定位、发现,会被锁卡。

    无论买啥,兼容 PyTorch 的最重要了,生态能给你用卡省不少事情。
    minami
        11
    minami  
       241 天前
    这个所谓的 Z100 ,是不是 AMD 那边买的技术。。。
    unknowsll
        12
    unknowsll  
       241 天前   ❤️ 1
    1 、大陆使用被禁售的卡,会有被远程锁卡的风险措施; 2 、这个事情估计你拍不了板,还是领导定吧,因为涉及这种金额的事情,都属于江湖,而江湖不是打打杀杀,江湖是人情世故。
    thep
        13
    thep  
       241 天前
    不用纠结肯定信创,早用早舒心,省的折腾。
    wzbrbj
        14
    wzbrbj  
       241 天前
    我记得我听过一期播客,他讲做信创的公司都已经给你想好解决办法了,外壳是搞的信创的设备,实际 GPU 都是用的英伟达的。

    2 个都要买的,信创的买了给领导看的,英伟达的才是真正干活的。找个信创的公司说你有什么什么需求,能不能满足。
    ntedshen
        15
    ntedshen  
       241 天前   ❤️ 1
    不是怎么远程锁卡这种神奇的论调都出现了。。。
    甚至明明都分不清哪张卡是哪张。。。

    “8 卡 gpu 应该是 30 多万” 显卡的预算就算三万一张?

    首先得搞清楚 v100 不是 a100 ,v100 就是个古代卡,家用 20 系一代的。。。
    16g 的 v100 散装现在四千带票五千就可以买到,32g 的倒是要三万,但是主要是因为大显存贵,不是算力贵。。。
    单论硬件规格这东西基本也就和一个 2080ti 差不多,除了 fp32 。。。

    所以买 v100 的主要理由应该是你的需求真的需要在八张卡的限定内搞定 256g 显存,算力实际上没有被考虑。。。
    而这“Z100 型号单卡性能相当于 V100 60%-70%”,这个百分比想来也是算力的差距。。。
    但是当你开始考虑 v100 的时候其实已经意味着你没在考虑算力了。。。

    于是乎结论应当是你要只吃显存那信创随便买。。。
    要要求算力可以去买 v100 ,但是总的来讲属于咸鱼之选。。。

    题外话的。。。
    a100 国行是不好买不过 a800 最近卖的挺火。。。
    我司来了好几台 nf5280m6 。。。
    非要说显存价格比确实是不如 v100 ,甚至 cpu 的双路 xeongold 没能打过家用 12900k 。。。
    但是至少是个新卡。。。
    BMAO
        16
    BMAO  
       241 天前
    国企里面优先考虑风险吧
    n0bin0bita
        17
    n0bin0bita  
       241 天前
    @ntedshen 不懂就问,A100 真的会锁卡吗?具体形式或原理是啥样的,公司在阿里云上买了 A100 ,阿里云是有什么特权还是有什么小动作,他对外出租显卡,不会吃传票吗,真心好奇求解答
    ntedshen
        18
    ntedshen  
       241 天前
    @n0bin0bita 这谁提你问谁啊,就一张卡我还好奇他怎么锁呢。。。
    传说中的 intel on demand 也就只是硬件解锁,谁家单一硬件搞加锁的,又不是 switch 。。。
    zaizaizai2333
        19
    zaizaizai2333  
       241 天前
    @ntedshen
    @n0bin0bita
    @ntedshen 忘记上一轮以太币矿潮,驱动锁算力的卡了?闭源的驱动,点到为止。
    ntedshen
        20
    ntedshen  
       241 天前
    @zaizaizai2333
    1 、这不叫锁卡
    2 、破解方案出现都没超过一个月
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3625 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 04:24 · PVG 12:24 · LAX 20:24 · JFK 23:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.