A/大家虽然骂归骂 但是模型给力 蹬起来也爽
反观 o/ 折腾来折腾去 新模型也不敢先发布
A/大家虽然骂归骂 但是模型给力 蹬起来也爽
反观 o/ 折腾来折腾去 新模型也不敢先发布
|
1
国模现在差距被拉开了。认识的北美厂里内部人士估计接下来差距会拉开到 9 个月左右,而且之后 50 分以上的模型思维链都不好蒸馏做 sft 了
|
|
liulihaocai1 day ago
4
@yanaraika 比较好奇,是因为前沿实验室开始用 looped transformer 导致思维链就算拿到也蒸馏不出效果吗
|
|
liulihaocai1 day ago
5
@liulihaocai 撤回,我理解有问题
|
|
maolon1 day ago
6
@btpuadom 是的,而且我记得没错是 5.6 sol 之后的模型就基本都蒸馏不了了(那个切换小模型的漏洞给堵上之后),然后现在除了 k3.1pro 稍高一点,其他家都还在 5.6 sol 上下挣扎,比如 glm 的 5.5 这个月再不发就 4 个月了,比他们平时三个月一发的周期要长
|
|
yanaraika1 day ago via Android
7
@liulihaocai 主要是反蒸馏技术提高了,各家都学习了 a 的反蒸馏技术
|
|
damaoooo23h 34m ago
9
@yanaraika 好奇,Astra 及以后的模型都可以通过注册 Tool Call 的方式继续蒸馏啊( https://huggingface.co/papers/2609.26637 )
为什么说之后 50 分以上的模型思维链都不好蒸馏做 sft 了 |
|
bwnjnOEI22h 48m ago
11
不是说现在从任务结果生成 cot 成本高效果好吗?
|
|
12
开源模型发布 = 蒸馏
开源模型不发布 = 蒸馏不了 😂 |
|
13
庆幸科技掌握在文明手中🙇🙇🙏🙏
|
|
wsseo21h 44m ago
15
刷分没用,还要看实际效果
|
|
nickyadance2321h 3m ago
16
@wsseo 实际效果是 claude opus 遥遥领先,Astra 写的技术文档那都不是人类了,全和尚念经
|
|
doudou55520h 41m ago
18
fable 纯写代码的话,可能还不如 opus5.5 好用,而且 opus5.5 更便宜
|
|
cdwyd20h 40m ago
19
我倒是觉得国外模型的发展遇到瓶颈了,在近乎无限量的硬件算力支撑下,这几个月的发布的新模型在使用体感上并没有什么质的的提升,甚至还倒退了。国产模型在算力不断提升后和国外模型的距离只会缩小而不是加大。
|
|
MuyuQ20h 28m ago
20
在无限算力的支持下,提升并不明显,挤牙膏一样。
考虑到 A/这个月要 IPO ,按道理说它应该要推出一个牙膏挤爆的模型来提升资本市场信心才对。 或者 OA 两家都遇到了相同的问题,AI 进化的速度变慢了? 至于国模。我们的算力还在建设初期,今年下半年才开始扩产,能实际落地以后还要训练,应该是会有半年左右的沉寂期。数据中心不是瞬间刷新的,模型训练也不是点击一下就完成的。 |
|
liulihaocai18h 53m ago
22
@hekou123 别的国家可不像你国一样没有还要硬搞一个主权 AI 。
不过进步空间确实很大,现在后训练基本上全靠蒸馏,模型还认为自己是 Claude ,前沿实验室今年的模型已经靠后训练把身份刻进权重里了,不需要系统提示词告诉他是什么 |
|
23
@liulihaocai 别动不动就主权 AI ,能自己创造好用的 AI ,其他国家或是团队会不去尝试吗?说句中国人厉害这么难吗?
|
|
liulihaocai17h 33m ago
25
@hekou123 什么“别动不动主权 AI”,你先知道主权 AI 什么意思再和我说话
|
|
liulihaocai17h 31m ago
26
@hekou123 哦没看出来原来是在这里找认同感,有没有一种可能用中国政府的叙述来描述“主权 AI”这个词,是“中国自己的自主可控 AI”的意思,抱歉伤了你的玻璃心
|
|
zuokanyunqishi17h 26m ago
27
蒸馏肯定是有的,应该是训练方法变了??按说公网的数据都被 ai 吞的差不多了,剩下的行业内避雷的高质量知识,这个快不了...
|
|
28
@hekou123 如果是任务,那没什么可说的,毕竟大家混口饭吃也不容易。
如果是在校大学生或刚毕业,可能还需要几年,才会培养出现实感。 如果是职场老油条,我只能说:都是行业内的,国内大家什么基操心里没点数?装什么外宾~ |
|
30
@liulihaocai
> 别的国家可不像你国一样没有还要硬搞一个主权 AI 。 日本主权 AI https://www.cnbc.com/2026/11/02/south-korea-ai-spending-budget.html 韩国主权 AI https://mistral.ai/ 欧盟主权 AI 还有印度的主权 AI 等等 其中印度/日本分别被扒出来过是 qwen/ds 换皮 |
|
tomyark12316h 47m ago
31
> 模型还认为自己是 Claude
这个老生常谈的问题了。 我觉得确实蒸馏了,不过批评声音除了 A 家和 openAI, 常见的社区倒是除了中国人自己骂的多,海外那边普通人或者科技从业者骂的不多: 常见观点如下 https://news.ycombinator.com/item?id=48972951 主要是 A 家和 openai 先天原罪太多,所以反倒是支持中国开元模型蒸馏美国模型的多些。 |
|
liulihaocai16h 39m ago
32
@tomyark123
仔细看看我写的什么?没有硬要搞 别的国家投多少钱你国投多少钱?韩国这个还没月之暗面一轮国资的投资 比如俄罗斯的 GigaChat 和 Alisa ,Deepseek R1 时代就有而且持续迭代的模型,没有爆出蒸馏而且是大 IT 公司背景的,可以看作是商业行为 |
|
liulihaocai16h 27m ago
33
@tomyark123 没看到 #31 ,不过没懂这个回复你想表达什么
要支持常见观点而不是自己的观点? |
|
tomyark12316h 27m ago
34
|
|
gptcard16h 23m ago
35
战报会说谎,战线不会。
可以看看那些中转站,蒸馏号池的价格怎么样就知道了,最近在收什么, 别摆屁股了,V 站有几个做搞蒸馏的可真做到了七位数 |
|
liulihaocai16h 19m ago
36
@tomyark123 按照中国一线城市人口 8400 万人计算,韩国 1/4 人口 1250 万人,也就是有闲钱买 AI 的用户群体,也就是投资的期待市场规模,金额完全不成正比,更何况中国国资当时投了不止十家公司
|
|
37
@liulihaocai 不太理解,中国非要搞 AI 有啥问题吗?在你看来是劳民伤财还是...怎么了?请教一下
|
|
jackerbauer15h 3m ago
38
然并卵,你用不了
|
|
zhoubigbo41215h 0m ago
39
国产模型已经进化到 rsi 递归自我改进
|
|
40
某些人言论就跟 A 畜一个逻辑,别人差就没必要发展了,国内这么多行业就你西方几家吃完? DeepSeek 最新一轮投资,可以肯定是下一波模型要达到顶尖水平,必须换赛道拼算力,也有可能闭源,几个键盘侠的脑子能比人家投了上千亿的风投还懂,笑死个人
|
|
41
@cctvbnm111X1 这论坛里外国人不少,有这种论调简直太正常了,他们不关注国内的行业动态,认为牢美就是全世界
|
|
xqk11114h 44m ago
42
@liulihaocai 已拉黑
|
|
wopenon13h 35m ago via iPhone
43
某些坛友可能是真的不明白
任何有一些社会经验的人(你们也可一称呼为油腻)都知道,在北朝鲜: 任何项目成功,关键条件之一,是否有排除掉吸血的蛀虫。 回首历来成功的举措,你会发现确实少了一些名门正派,但是项目成功了。 AI 这一块,本身有禁令不假。但是从前段 DeepSeek 新闻就知道,还是绕不开那家吸血。 当然如果你认为那家是国产科技之光,而不是某些人捞钱白手套,那当我没说。 所以不要天真想相“只要算力中心建起来,一切都会好的” 且听龙吟吧。 BTW.不针对该加拿大企业,只是举个例子 |