V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
blakegger731
V2EX  ›  程序员

最近一年持续关注 LLM 技术,发现一个技术发展规律: 全球顶尖公司、高校和极少牛人引领技术发展,其余的人和公司都是追随者

  •  
  •   blakegger731 · 5 天前 · 4857 次点击
    50 条回复    2024-06-14 14:48:22 +08:00
    wizzer
        1
    wizzer  
       5 天前   ❤️ 1
    不然呢……
    ResidualSoils
        2
    ResidualSoils  
       5 天前
    可能是少数牛且幸运的人发现了新的技术,然后其他公司的“老板”们让他们公司的牛人去追随
    Mithril
        3
    Mithril  
       5 天前
    因为做这方向的公司,或者说科技创业公司。创始人和核心团队里没几个牛校毕业的,或者大公司技术高管,你是根本拉不到投资的。
    squarefong17
        4
    squarefong17  
       5 天前
    不然呢。你看百把年过去了,现代物理学基础理论还是相对论和量子力学
    hxzhouh1
        5
    hxzhouh1  
       5 天前   ❤️ 3
    任何行业都这样把?
    HongXinss
        6
    HongXinss  
       5 天前   ❤️ 10
    最近一年持续关注饮食,发现一个饮食发展规律:全球顶尖菜品都是厨师做的,其余的人只是用嘴吃饭
    KINGWAY
        7
    KINGWAY  
       5 天前
    大部分人是乌合之众, 但是其中很多人以为自己是天选之才.
    fds
        8
    fds  
       5 天前
    科研领域也一样。所以就是要维护好环境,让万物自由生长开花结果。虽然果子只有那些,但没有根茎绿叶也是长不出来的。
    hhhh115
        9
    hhhh115  
       5 天前
    人类群星闪耀时
    这些人属于群星
    chendy
        10
    chendy  
       5 天前   ❤️ 2
    追随者是这样的,塔尖的组织只需要持续投入研发就可以了,而追随者要决定追随什么追随谁怎么追随,要考虑的就很多了
    iOCZS
        11
    iOCZS  
       5 天前
    人类知识边界掌握在少数人手里
    bensky
        12
    bensky  
       5 天前   ❤️ 1
    行行都是如此。人类几万年演化史都这么过来的。
    line
        13
    line  
       5 天前
    即使是顶尖研究者也是在相互启发,借鉴。 人类作为一个整体在前进。
    supuwoerc
        14
    supuwoerc  
       5 天前
    我前两天看了 FFmpeg 作者的经历,感觉世界是他们推动的,我们都是在这些巨人后面拾麦穗的人。
    LandCruiser
        15
    LandCruiser  
       5 天前
    事儿是这么回事儿,但是目前没看到 large language model 的价值。
    powerman
        16
    powerman  
       5 天前
    @LandCruiser 快了,要不了几年,搜索引擎会彻底消失,互联网会变成 内容孤立岛,每个孤立的岛屿都会有自己的大模型
    haiku
        17
    haiku  
       5 天前 via Android
    另一个移动互联网时代罢了
    之前成功的手机操作系统也就 iOS Android ,早期开发 App 的不也赚大钱了吗
    seakingii
        18
    seakingii  
       5 天前
    看数学就知道了
    powerman
        19
    powerman  
       5 天前
    @LandCruiser 现在中文 有价值的 UGC 内容 都已经只在 互联网孤岛发布了,
    本地要搜索一下相关的吃喝 旅游 出行攻略 还有 租房, 小红书 咸鱼 比百度要靠谱多了,一个个都成为内容孤岛
    kristofer
        20
    kristofer  
       5 天前
    这不很正常。
    NoOneNoBody
        21
    NoOneNoBody  
       5 天前
    是不是按错 enter 发送了,没见网址、关注一年就这一句话?
    jmy
        22
    jmy  
       5 天前
    听君一席话,如听一席话
    woctordho
        23
    woctordho  
       5 天前 via Android
    引领技术发展的人真的少吗,你再数数有多少
    idealhs
        24
    idealhs  
       5 天前   ❤️ 1
    @LandCruiser 哦哦嗯嗯,LLM 的价值去年年初的时候全世界都看到了,就你牛逼装着哈
    LandCruiser
        25
    LandCruiser  
       5 天前
    @idealhs 什么叫装着,纯粹觉得用处不大而已。
    Foralrec
        26
    Foralrec  
       5 天前
    @supuwoerc 挺感兴趣的,可以发下么
    chitanda
        27
    chitanda  
       5 天前   ❤️ 1
    @chendy #10 我去,潮式做题就是快
    ShuWei
        29
    ShuWei  
       5 天前
    废话,哪个行业不是这样?
    dog82
        30
    dog82  
       5 天前
    楼主太后知后觉了。这个世界,是一小撮聪明人拽着大家前进的
    kneo
        31
    kneo  
       5 天前 via Android   ❤️ 1
    你还真是持续一年关注了个寂寞。
    loryyang
        32
    loryyang  
       5 天前
    这其实是互相影响的,也就这些人在搞重要的研究,而且里面的人也是经过筛选进去的,没能力搞研究的就进不去
    lambdaq
        33
    lambdaq  
       5 天前
    爱迪生说过,天才等于 1%的灵感,加 99%的汗水。。。。


    他接着说:

    那 1%的灵感,远比 99%的汗水更重要
    masterclock
        34
    masterclock  
       5 天前
    唯物历史观是初中内容吗?
    yankebupt
        35
    yankebupt  
       5 天前
    @blakegger731 光高质量的训练用数据和训练费用(硬件/电费)就吓跑了一大帮人
    更别说没经验的训练过程随时可能跑飞,大把的钞票直接打水漂
    更可怕的是还要竞赛,比别人晚一点点,双盲性能差一点点,因为都要收费用户就跑到对面去了……
    要不是中国要备案只能用中国的 LLM 保活了那么几家做了起来全得被欧美日卷死……

    这个问题得等到显卡白菜价,或者可计算式内存(内存自带计算单元)开发成功,才有可能改观。
    Groq 开发了个 SRAM 推理机,就是将来差不多可计算式内存的推理速度,但是 SRAM 太贵了良率太低,做不了大,只能跑不大的模型而且不能用来训练……但你可以提前体验下将来的可计算内存 LLM 推理什么速度
    shinsekai
        36
    shinsekai  
       5 天前
    上学时应该学过英雄史观和人民史观吧?
    signin
        37
    signin  
       5 天前
    追随者又有什么问题呢,大文豪就那么几个,文字工作者没口饭吃吗?
    secondwtq
        38
    secondwtq  
       4 天前
    不如这么说,他们是因为站在技术的前沿才变得顶尖,而不是顶尖的人/实体站在技术的前沿。

    数学和科学中的重要成果,经常被冠以 XX 人定理,YY 人定律,为什么不是 AA 州定理,或者 BB 国定律,或者 NM 年猜想呢?自然是因为能做出前无古人的重大发现,并且以合适的形式表述并公布的人一直都是极少数,但是你如果真的做出来了,你也能冠个名,你就变成“引领”的人了。
    然后再去看这些 XX 和 YY ,你又会发现其中很多人一生中做出的真正重大的成果就这么一条,在这个成果发表之前可能是个 nobody ,在做出了之后想再其他的东西又不顺利。能连续做出重大贡献的,又是极少数中的少数。
    metalvest
        39
    metalvest  
       4 天前 via Android
    恭喜你重新发现了二八定律
    IDKAFK
        40
    IDKAFK  
       4 天前
    @lambdaq 爱迪生没说过“那 1%的灵感,远比 99%的汗水更重要”
    Fred0410
        41
    Fred0410  
       4 天前
    同意
    liyafe1997
        42
    liyafe1997  
       4 天前
    恭喜你发现了这个世界的运行规律之一:二八定律
    不止是技术,这个世界任何地方,各行各业,各种事情都适用
    MajestySolor
        43
    MajestySolor  
       4 天前
    整个人类族群就是这样发展过来的,不管是技术还是思想,都是凤毛麟角的一小撮天降猛男带动整个族群发展,99.9999999%的人哪怕从未出生过,也不影响人类的发展🤣
    duanzhanling
        44
    duanzhanling  
       4 天前
    不然呢
    lambdaq
        45
    lambdaq  
       4 天前
    @IDKAFK Genius is 1% inspiration, 99% perspiration

    一个是 in-,一个是 per- 如果没有 in 是没有后面的 per 的。
    Meteora626
        46
    Meteora626  
       4 天前
    因为你不牛根本拉不到钱,gpt2 gpt3 当时结论就是堆参数量行不通,很多公司就舍不得继续砸钱了,结果 openai 继续砸,3.5 出来以后发现以前纯纯堆得不够多.
    devzhaoyou
        47
    devzhaoyou  
       4 天前
    整个人类历史不也是这样么
    IDKAFK
        48
    IDKAFK  
       4 天前
    @lambdaq #45 补充下,豆瓣 @桥之暗面 ,已经调查的足够详细,https://www.douban.com/note/134288386/?_i=8293283wh-9gwg,8338627wh-9gwg

    如果爱迪生真有说过,那也请给出英文原文
    lambdaq
        49
    lambdaq  
       4 天前
    @IDKAFK

    Edison Papers editors recently discovered a fragment penned by Edison in 1915 in which he placed doubt upon his own famous quote:
    "[T]hey attribute this saying to me,” he wrote, “but I did not cannot remember that I ever said it."

    大意即“一些爱迪生的研究者近期发现了一些留有爱迪生笔记的碎片,这些内容是 1915 年爱迪生写的。
    (爱迪生写道)‘他们说这句话是我说的,但是我并不记得我曾那样说过’


    这下好了。前面这句也没了
    zzzzzzggggggg
        50
    zzzzzzggggggg  
       4 天前
    最近一年持续关注高考,发现一个考试结果规律: 全国顶尖 985 、211 都是极少牛人考上,其余的人都是追随者
    最近一年持续关注锻炼健身,发现一个身材规律: 顶尖毅力、自制力和极少牛人练出好身材,其余的人都是追随者
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3153 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 819ms · UTC 11:45 · PVG 19:45 · LAX 04:45 · JFK 07:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.