V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Greendays
V2EX  ›  硬件

新出的移动平台的 NPU 有人测试过吗?

  •  
  •   Greendays · 60 天前 · 864 次点击
    这是一个创建于 60 天前的主题,其中的信息可能已经有所发展或是发生改变。
    I 家 A 家不都出了新一代的笔记本 CPU ,不约而同都集成了 NPU 芯片,然后网上的通稿都号称能跑 stable-diffusion 大模型。现在这些笔记本也都开卖了,有人实际测试过跑大模型要怎么跑吗?

    https://imgur.com/RJqXfiy

    我对 NPU 的印象就是能效比较高,但是适用范围很窄,只能适配一些提前设定好的程序或算法,比方说运行 Windows 内置的语音识别图像识别功能。我觉得通稿里测的这个 statble-diffusion 应该不是通过常规方式运行的,可能需要修改源代码,毕竟 Pytorch 都没有给 NPU 适配的版本,但是通稿里对这些都没说清楚,也没人真的跑过,所以好奇是怎么回事。

    https://imgur.com/Jq09ryn
    2 条回复    2024-02-24 17:23:49 +08:00
    James369
        1
    James369  
       60 天前
    看成了移动手机,NPU 一般对向量矩阵操作有加速作用,不清楚 PC 上是走什么软件接口
    ModerRAS
        2
    ModerRAS  
       60 天前 via iPhone
    amd 的用他专用的 pytorch 或者 onnxruntime 就行,然后需要装一下 ipu 驱动,只能跑 int8 量化的模型
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   986 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 20:46 · PVG 04:46 · LAX 13:46 · JFK 16:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.