搭建大模型推理服务有感

[nxforce]

自己在 x86 + nVidia 平台上面，搭建一个 deepseek ，真是怎么快怎么来，舒服一个字。

在公司华为的昇腾 arm + npu 平台搭建一个 mindie 推理框架，居然让我有种想转行的挫败感，搞死我了（哭。

ollama 不支持，行，这个本来只适合科研或者原型开发，不适合大规模商用。
vllm ，适配了，但限定少数型号，公司花大价钱买的型号不在支持范围。

那就剩下那个什么 mindie 支持部署 deepseek 蒸馏模型，一看那个文档，我勒个去，从业多年我是没见过这么复杂的部署方式，还要用一大坨一大坨 python 代码验证。

厂家派了个运维工程师搞了一天过来支援都部署不成功，跑大模型还会死机，哈哈，哈哈（哭😭

[zqqian]

学会克服在别的地方不存在的困难

[cyp0633]

恐怕昇腾在一众信创方案里已经算简单的了，华为还是真想拿来卖钱的

[frankies]

搞信创就这样，平白无故增加毫无意义的工作量，不过习惯就好啦，又不是不给工资😂

[mumbler]

你会在昇腾上搭建 deepseek ，你知道这个技能值多少钱吗？帮一个公司搭一套收 10 万一点都不多

[zhaoxj58]

老哥，真有这么值钱？

[darkingwalker]

我在海光平台上跑起来了 ollama+deepseek ，但是跑起来之后的问题也很多，现在做这块儿内容的感觉就是资料很少、问题很多、还没啥人能交流

[mmdsun]

华为不是有个超融合一体机么 最近适配了 Deepseek 模型 试试那个