Advent of Code 是个每年一次的活动,主办者每天定时放出一道编程题,前 100 名做出来的可以进当天的排行榜并获得分数,根据总分还有个总排行榜。
题目难度总体上不算太大,基本上是随着日期每天变难一点。有时会有特别复杂的模拟题,比如前两年有道题需要把一个立方体的平面展开图组装起来,模拟在立方体表面移动。
从去年开始,有人开始尝试用 AI 自动化解题了,但随着每天题目的难度增加基本坚持不了几天。
今年情况有点不一样。这是第 8 天,AI 选手还是可以做到 14 秒 从读题到提交答案拿到榜一。怎么确定是 AI 呢,有很多用户点进 GitHub 一看都明说了自己是做 LLM 的。值得注意的是网站有提交限制,答错两次后在一段时间内不能提交。14 秒的时间基本意味着现在的 AI 模型可以一次性把题做对。
实际上,主办者去年开始已经在网站上表达了他的态度,明令禁止这种行为,然而没有什么效果。
Can I use AI to get on the global leaderboard? Please don't use AI / LLMs (like GPT) to automatically solve a day's puzzles until that day's global leaderboards are full. By "automatically", I mean using AI to do most or all of the puzzle solving, like handing the puzzle text directly to an LLM. The leaderboards are for human competitors; if you want to compare the speed of your AI solver with others, please do so elsewhere. (If you want to use AI to help you solve puzzles, I can't really stop you, but I feel like it's harder to get better at programming if you ask an AI to do the programming for you.)
先不管用 AI 刷榜的行为如何(因为我的水平还上不了榜所以我不太关心位置被抢了),我比较感兴趣的是这件事反映出的 AI 编程能力的提升极大地超出了我的预期。我之前对大语言模型的态度还是比较悲观的,认为只能写写文字不算真正的智能,从现在开始我想法有点转变了,很难想象过几年我的编程水平还能不能有班上。
过几天如果复杂模拟题还是能被 AI 轻松做出来的话,我要开始计划认真学一学准备转行了。我的 NLP 知识水平还停留在 word2vec 呢,现在开始学还来得及吗?
今天(第 14 天)的第二问比较绝,我认为几年内 AI 还不具备独立解出这种题的能力,感觉这是作者有意的反击。
1
Kauruus 14 天前
转行做套壳还是来得及的,感觉连不知道 NLP 和 word2vec 都没问题。
转行做模型,没钱没卡没数据,怕是来不及了。 |
2
majula 13 天前 3
我本来也是对 AI 解决问题的能力持怀疑态度的,总觉得它目前只适合做简单重复工作。不过近一年来 AI 显然变强了许多,让我对其有所改观。
上周我们部门里有个实习生小伙子,只花了不到一小时,拿 AI 解决了整个算法团队折腾了两周都没有头绪的性能优化相关 case 。而且不是动动嘴皮子,而是生成了可以跑通 benchmark 用例,有实打实的 10%~15% 稳定性能提升的代码 当时我们工作群就炸锅了,一整天都无心工作在那里吃瓜。算法团队应该是破防最严重的,他们那边一堆上世纪就开始写代码的老工程师,技术氛围守旧,对 AI 持激进的排斥态度。这下子自己的工作专长被 AI 轻易地威胁到了,不知道接下来该何去何从,整片工位一直阴霾不散 |
3
levelworm 13 天前 via Android
没办法了,估计这就是趋势,咱们程序员孜孜不倦的把自己的工作迅速搞没。还好四十多了,就研究研究自己感兴趣的底层代码,混到六十岁就行了。
|
4
shylockhg 13 天前
做 API boy 还行,LLM 不管训练还是微调个人成本都挺高
|
5
ninjashixuan 13 天前
这种兴趣比赛 puzzle 用 AI 不是很无聊么。
|