要不要拥抱大模型推理，求点醒

[songlinliee]

我在读研期间，一直在芯片公司做一些编译器或者推理加速相关的工作，做过模型压缩，算子融合，动态算子相关的一些工作，但是一直在做单机单卡上相关的工作，这是我的一些背景。

去年大模型火了以后多了很多大模型的机会，我本来以为这个岗位需求量会很大，但是实际秋招的时候，很多芯片公司在这个方向上招人都是个位数，虽然也可以硬蹭互联网还有一些纯 AI 初创，但是招人也特别少，而且因为急着出成果，都希望招资深工程师，在初期别人大厂各种乱杀的时候，只有自动驾驶的一些公司给了一些机会，后来运气不错又拿了一些大厂做大模型推理团队的 offer ，目前在去苏州做 ADAS 类似嵌入式的工作和去上海做大模型推理之间摇摆，上海总包多将近 20 ，但是我还是有一些担心的点。

1. 推理优化的手段真正有效的其实有限，每个公司在这个方向几乎只有十几人的小组在做，我不确定以后跳槽坑位是否足够。
2. 现在大模型越来越火，入行的人的资历也越来越好，动辄系统方向的顶会，优秀的开源项目，反观我只有一些实习的经验，对比之下，感觉压力很大。
3. 经历了芯片赛道的狂热到现在的业务收缩以后，曾经我也以为算力是基本，做芯片行业肯定能温饱不愁，现在持相反态度，我感觉大模型以后一定是个好方向，但是对于从业者却未必友好。

而去外企做嵌入式就没啥太多想法了，苏州家里可以支持买房，可以生活的比较舒服，工资也算给的足够多，如果算上女朋友加起来收入和上海持平（因为女朋友在上海只有银行的选择收入比较低）。

两边都有被裁风险，苏州这边做嵌入式的公司相对应该更多一点，缺点就是确实不太喜欢嵌入式，对汽车的软件开发也喜欢不起来，但是可以克服；而且也不一定稳定，加班也不怎么少。

总之，感觉选哪边都会后悔，经历了一段时间的决策，包括家庭等因素进去，更加不知道如何选择，希望删繁就简，仅从方向和城市的角度请各位大佬给点意见。

[zizon]

没有什么是长青的,看自己兴趣能不接受以及可能更重要的,哪个的收入回报比较容易保证温饱.

[songlinliee]

@zizon 谢谢大佬，温饱问题应该都没问题，只是不确定要不要赶一下大模型这个风口，比较纠结生活质量和机会成本之间的平衡，苏州大概能有 35 的总包，上海大概是 55 左右。

[bugu1986]

你是大佬 我目前初学

[tomatocici2333]

大模型肯定是没问题的，政策上现在也支持

[kera0a]

让你女朋友决定

[lambdaq]

感觉大模型是赢家通吃。

[allen0125]

业务爆发增长等不及你完成你的推理加速相关工作就得加机器，业务不增长你吧推理加速相关工作做完了也救不了业务。如果你在做业务支持相关工作之外还有精力可以顾及一下这方面，那会是加分项，否则选择这个方向的工作会给自己的未来埋坑。

[LiuN1an]

等会，哥们，你做大模型压缩，算子背景的，上海就开了年包 20 。。是少打了一个 0 么

[songlinliee]

@allen0125 是有这个担心，我一开始也觉得芯片厂会更有做推理加速的业务动力，但是看寒武纪还有各种 AI 初创的形式，感觉似乎并没有那么多需求能做。

[songlinliee]

@LiuN1an 不是，大佬你看错了，我是说上海比苏州多了 20 ，大概总包在楼里回复了

[shm7]

不仅仅大模型需要部署和推理优化，其他的模型也需要的。各家大公司都有名额。
嵌入式回苏州也是一个平安的办法，苏州是否还有很多汽车产业，这方面是否工作机会多。

[songlinliee]

@shm7 谢谢大佬。汽车行业昆山那边机会相对多一点，但是外企技术有限，真的想跳槽估计也只能靠自己打磨技术了。