V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
wxd21020
V2EX  ›  问与答

智算中心 GPU 监控

  •  
  •   wxd21020 · 152 天前 · 1239 次点击
    这是一个创建于 152 天前的主题,其中的信息可能已经有所发展或是发生改变。
    老哥们,如何监控智算中心的显卡使用情况呀,想搞个平台监控智算中心的各种数据。
    9 条回复    2024-07-30 13:56:48 +08:00
    wxd21020
        1
    wxd21020  
    OP
       152 天前
    没人么
    ellipsecheung
        2
    ellipsecheung  
       152 天前
    多大规模的,什么显卡,要监控哪些数据
    gesse
        3
    gesse  
       152 天前
    nvidia-smi
    wxd21020
        4
    wxd21020  
    OP
       152 天前
    @ellipsecheung 千卡级 A100 起步
    mgrddsj
        5
    mgrddsj  
       152 天前 via Android
    用过某高校的 HPC ,也是好多的 GPU 服务器,是用 Grafana 搭的资源占用监控。
    wxd21020
        6
    wxd21020  
    OP
       152 天前
    @mgrddsj 展开说说,grafana 就是个展示 web 吧,数据是怎么抽取的,拿普罗米修斯吗
    mgrddsj
        7
    mgrddsj  
       151 天前 via Android
    @wxd21020 #6 具体怎么实现的不太清楚,我只是用户。网上估计有相关教程?
    ellipsecheung
        8
    ellipsecheung  
       150 天前
    @wxd21020 加个 wx 聊一下?
    Mi1kTea
        9
    Mi1kTea  
       149 天前
    https://github.com/utkuozdemir/nvidia_gpu_exporter?tab=readme-ov-file
    nvidia exporter 获取数据+Prometheus 整合数据+grafana 展示
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1124 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 18:44 · PVG 02:44 · LAX 10:44 · JFK 13:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.