restkhz's recent timeline updates
restkhz

restkhz

V2EX member #435565, joined on 2019-08-13 09:09:56 +08:00
Today's activity rank 15948
restkhz's recent replies
@ETiV 你说的那个是不是什么洛洛历险记...XD
7 days ago
Replied to a topic by 1258 程序员 qwen3.8 27B 被低估了
从 Qwen3.6-27B 开始“正确的废话”已经少了很多了...尤其是 3.6-27B ,答案质量比 Qwen3.5-122B-A10B 和 Qwen3.6-35B-A3B 好得多。很多时候未必需要搜索。
已经不能拿着看 Gemma4,Qwen3 的眼光看这些小模型了。Gemma4-31B 就哪怕和 Qwen3.6-35B-A3B 比能力上都完全都不是一代的,虽然发布时间接近。


3.8 不能说就是 opus4.6 的等级,有些指标差一些,有些指标超过。它知识量上和 3.6 比没很大提升,但是 Agent ,coding ,指令遵循能力已经很不错了。

我这个实验室组周六就已经玩上 Qwen3.8-27B ,FP8 。有人跑 Agent 花了 40 分钟做了 3 个网页街机游戏。我也用它问了一些现代 EDR 和 shellcode loader 有关的问题,没开搜索,回答质量也非常好。能具体说出一些现代技术而且能解释为什么要这么做,具体原理,还能给出具体 API 。体验接近 DeepSeek V4 Flash 0731 。

感觉这个东西已经到了可以当生产力工具的水平了。

至于过度推理,3.6 就有这个问题了。27B 知识不足的情况下为了更好的质量只能靠时间换空间。不过对于自己本地部署来说我认为这是值得的。这就是那个不可能三角:好,便宜,快。你不能要求你只有 32GB vram 的情况下跑出 opus 的质量,还要求它快吧...

不过确实热度不如 DeepSeek 0731.
作为一个 27B 的 dense,推理成本应该比 0731 的激活 13B 高,应该会更贵。
对于买 token 用的,和 0731 比 3.8 可能就又贵又慢了。

---------

刚刚看了一下,artificialanalysis 给出了 52 分。
超过了 opus 4.6.直接和 DeepSeek v4 flash 0731 一个分数了。
10 days ago
Replied to a topic by majuzhang Local LLM 公司本地部署开源模型
取决于预算。
勉强能跑起来交差的,五位数不到,跑个 Qwen3.6-35B-A3B 还是够的,文档处理,简单编程能做。不过搞好了没几个人想用。
5 位数算力带宽都好点的可以考虑比如还有几个小时就要发布的 Qwen3.8-27B ,能用。跑 Dense 要注意带宽。

好用点的,能长期用的准备差不多 6 位数了。准备将近 200G 的显存吧。

我这有用 H100+vLLM ,4K 上下文并发几十也没毛病。不过跑 Agent 上下文到 100K+明显卡 prefilling 。仅供参考。
@zhouhuab 好啊,给你 tg 发了消息,认识一下。
@zhouhuab 还真是,只不过情况有点特殊...
@MIND222 谢谢

那就趁摸鱼多说两句吧。

这里有些年轻人有的不知道往哪里努力,有的根本没有所谓努力的底牌,有的人已经完全认输了。

我认识的几个专科的哥们,大多数农村户口,
有出息的自学了个 Spring,后来进了个外包。但是对于那些连 Spring 都不知道是什么的呢?

那些高中关在学校三年,家里也没人懂电脑,完全就是父母听说互联网好赚钱,就报了个 IT 专业。甚至可能就没碰过几次电脑。
人家学校教了个 Java,C,装个 VC++6.0 让你打个三角形,勉强教你学会了快排。你这能找到工作吗?你不能。
于是有些学校暑假和某些培训机构合作,收这群农村户口学生小几千,说是帮你们就业的培训,辅导员也拿着个花名册催着报名,我也不知道他们教了什么。反正你也不能说他们就多清闲。

然后?他们毕业了。

其实他们在毕业前后也经常问我应该学什么技术。
我其实和他们说过可以搞开发,前端后端,操作一下 git 学学 Vue 。但是我发现,他们似乎很认真的在和我讨论就业,城市,工资,又完全不懂 html,css 和 js ,甚至可能不知道他们能做什么。后端,听过 php,没听过 go,更别说 laravel, wordpress 。数据库?大概装过某软件园上下载的 MySQL.

最后问我
“xx 的网课好不好啊?看评论说他们比 xxx 好,B 站有 up 主推荐,课时怎么怎么样,比另一个贵一些...”
“那个谁的 CentOS 课有没有必要...”
“你说的那个文档什么例子怎么找?我搜了,没搜到。谷歌是吧?我这好像打不开?”

...

后面他们没再问过了。这么多年再也没联系过了。对其中几个人的记忆完全停留在他们朋友圈里发搞到个黄/蓝马甲,电瓶车,跑外卖去了。




到底我是想说,人投胎,不是靠努力投中的。中国人收入到底多少,我不知道,我不多妄加评论。
但是有的人似乎从出生开始手里就是一副烂牌,他们大多数人想过努力,也试过努力,但是他们的努力可能不会有什么回响。
甚至可能他们的努力本身就是一种会让他们慢性出血的陷阱。

而我不敢去批评或者指导这群人。因为我偷看过他们的牌,我知道换我,我也根本赢不了。
我很少在这种话题下说什么。

@LeoWA 我曾经简单研究过这个数据,你说的是对的。
“中国还有 6 亿人月收入低于 1000 块”这个说法不准确,不过,有时候更可能是一个家庭里三个人靠着一个人赚 3000 活着。
实际上如果研究最近这个数据的中位数,平均数,灵活就业,可能真还有 5k.

接下来我讲讲故事。

“只要稍微努力就能月入 5k”,而这个门在哪里?我见过一个乡镇中专妹跑到城市,压根不会用电脑,甚至电脑没摸过几次。而后在工厂呆腻了,想学点 excel ,在城市里谋生,可是连电脑也没有,没钱买。
她在网上的诚恳发问往往收获到的只有一片嘲笑。

我也有一些中专同学,他们出路在哪里?他们怎么样?我想来想去,换我,除了在床上刷抖音以外我也没办法。
前阵子有个失业一本女同学问我“搞 AI 行不行”,其实我是有点难以启齿的。是打算从 python 学起吗?然后搞 MNIST,从决策树随机森林再玩到神经网络?还是没有编程基础打算创业?靠着 Vibe coding 做点什么?可是她平时用的是豆包...翻 wall ?还在研究。


路在哪里?


只是觉得,我只是幸运罢了。


很难想这群人生存策略是在怎样一个环境里建立起来的。
我有个儿时玩伴,这小孩其实小时候很聪明,长大了一米八几,很帅。但是,他父亲坐牢,母亲跑了。剩下一个奶奶,他小时候这奶奶天天打麻将,见这小孩哭拽起来就打耳光,打到不哭为止。他羡慕其他小孩有零食有玩具,有一天他去超市偷零食,被抓了。多年以后据说他成了一个中专黄毛。

偷东西的坏小孩该不该被惩罚?当然应该。但是这种 spawn point 这真是他自己选的么?
我还见过外来务工人员的子女,小时候住我小区楼下地下室里,找个角落,床单挂着,一拉就是家。父母环卫工人。但这小孩小时候聪明绝顶啊!下棋爆杀我们,情商也很高,黑黝黝的皮肤,灵动的眼睛,长得也帅。然后呢?

然后我家买房,搬走了。离开了那个老旧小区,此后我和他们再也没见过。



多年以后,我出了国。
IT 专业,见到了很多印度人。其中我和一个印度哥们玩得很好。他一来这里就急忙找工作,一边上学一边搞什么 k8s 证书。
为什么呢?
后来,我知道他家有三个孩子,为了让他出国,父母借了一大笔贷款。利率 12%。他的家庭其实都很难承受住,这算是场豪赌。
他做的饭,其实是绿豆,米饭,西兰花,加上一些香料和少量的盐用高压锅煮的。他怯生生地问我吃不吃,生怕印度食物被鄙视。我和他去超市,天热,他连一瓶汽水都要思量再三。

实际上我吃着他做的饭,想到我和他说过,当年我骑着凤凰牌二手自行车去学 NOIP,遇到过那些家里开着保时捷送小孩,小学四年级就 C++手写 BFS,平衡树,后来打 OI 拿了什么奖的人,


心里总觉得怪怪的。
19 days ago
Replied to a topic by linora 生活 关于减肚子,大家有什么好的经验
@FaustinaD 能做到的是真厉害,狠人。
不算相关专业,个人认为不可能会无限扩大。下面的几个说辞也只是臆测,论坛灌水,不太经得起推敲。

1. 人类知识有限。绝大多数知识其实只是已有知识的更进一步。其中关系才是玄妙的地方。如果说可以归纳法得出的知识其实体积可能并没多大。至于某厂 API 调用方式其实完全可以利用互联网检索或者 RAG ,增长速度有限。
2. 贵在推理方式和经验,这几乎就是智能本身。然而这种东西占用多少空间?我不知道。但是应该不会是线性增长的。
3. Qwen3.6 27B 仅有 27B 的参数量,智能接近 Nemotron 3 Ultra 550B A55B ,MiMo-V2.5 这个 310B ,A15B.(根据 artificialanalysis )
4. Qwen3.6 27B 有如此智能不是没有代价的。它为了一个回答会进行大量的推理,以时间换空间。我曾经用过 Qwen3.5-9B 的模型,在某些,比如化学问题上一些刁钻的具体的化合物它完全没训练过,不知道是什么,但是只是根据一些规则就推理了出来。但是光推理就消耗了大量 tokens.令我惊讶的是,这个 9B 模型居然推理出了正确答案。者可以说明小 dense 或者 MoE 激活参数实际上增长不会快,未来多数场景完全够用。
5. 如果只是单纯说知识量,不如搞个搜索引擎,然后爬下/录入全人类的数据了。但是数据库没有智能。

我有一个暴论,在未来,随着算力和存储的提升,人们会在模型知识量和推理耗时,智能,以及他们的成本,用户场景体验中找到产品的平衡点。意味着实际上模型体积不会无限(至少不可能是线性)增大。未来大多数问题可能一个足够优秀的小模型+搜索/RAG 就能够解决。或者,可能会有缓慢增大(非线性增长)的 MoE+搜索/RAG,但是激活参数不会涨很快。

我认同 @ryd994 的观点。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   943 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 21:43 · PVG 05:43 · LAX 14:43 · JFK 17:43
♥ Do have faith in what you're doing.