V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Xealml
V2EX  ›  自然语言处理

我是国内的 NLP 从业者,大模型这一波风吹过来了,在公司做大模型感觉前途未卜的样子

  •  
  •   Xealml · 2023-11-09 15:43:09 +08:00 · 3099 次点击
    这是一个创建于 374 天前的主题,其中的信息可能已经有所发展或是发生改变。

    openAI 的发布会让无数创业公司直接死亡,大模型直接席卷 NLP ,CV ,语音,国内相关的从业者的未来是什么,很是迷茫,求大家指教

    21 条回复    2024-06-26 13:43:10 +08:00
    zsj1029
        1
    zsj1029  
       2023-11-09 16:42:12 +08:00
    不要调用 api ,只做上层应用
    gps949
        2
    gps949  
       2023-11-09 16:46:48 +08:00
    短期内,还可以继续卷算法,吹吹牛皮,做出特点。
    中期内,拼的是特色应用、数据源(知识库)壁垒。
    长期看,无论算法还是应用都会被破掉,唯有算力(生产资料、资本)常在
    zjsxwc
        3
    zjsxwc  
       2023-11-09 16:47:53 +08:00
    赢者通吃的游戏。
    paopjian
        4
    paopjian  
       2023-11-09 17:20:26 +08:00
    只要有墙,靠国别墙立起来的科技公司就能苟延残喘
    majianglin
        5
    majianglin  
       2023-11-09 18:16:57 +08:00
    正好相反,大公司只能做通用的东西,他们把这个潮流带起来之后

    很多机构就会有定制自己 AI 的需求,这就是前 20 年的 IT 业一样。比如定制自己公司的客服,那就需要微调人员

    相反,不会玩大模型的人才会被 AI 取代
    keepRun
        6
    keepRun  
       2023-11-09 19:57:53 +08:00
    长远来看,数据价值才是可以积累的,你有别人没有的数据才是最重要的。
    lbingl
        7
    lbingl  
       2023-11-09 19:59:52 +08:00
    @majianglin OpenAI 刚开的发布会讲的重点就是就是个性化模型,自己可以简单的定制模型,或者他们帮你用大量数据微调
    keepRun
        8
    keepRun  
       2023-11-09 20:03:22 +08:00
    微信公众号里有很多优质文章,以后微信必然会拿这些数据喂 ai ,再通过各种手段限制其它大厂获取它的数据,这样优势就产生了,别的厂商敢偷爬数据就会被告。
    我认为 ai 的出现会进一步提升数据的优势,以后谁能拿到别人拿不到的数据才是最重要的,想想看,以后的生成式人工只能如果连你看了哪些文章都能获取到。
    想想这么个场景:
    我:帮我规划下我的旅游计划
    ai:好的,根据你最近几天在手机上浏览的三亚旅行相关文章,我给你提供了几条你感兴趣的线路,你可以看下....


    事实上掌握了用户的行为习惯的数据的 ai 可以更加智能,连你了解了什么都知道,你就不用说那么多话来告诉 ai 该怎么做了,因为 ai 一直在看着你,再叠加上未来的物联网、智能家居,你的一举一动都可以输入 ai ,必然会诞生超级智能的助手,而别的竞争对手拿不到这些数据你就没办法做到这么智能。
    pixelbook
        9
    pixelbook  
       2023-11-09 20:25:16 +08:00
    去年年底 NLP 已经被大模型卷死了。。打不过就加入
    vToExer
        10
    vToExer  
       2023-11-09 21:00:30 +08:00
    同为前 NLP 已失业。。迷茫不知出路何在😭
    majianglin
        11
    majianglin  
       2023-11-10 09:56:04 +08:00
    @lbingl 微调也是需要技术的。

    另外还会有针对公司业务的专有模型,比如军方要设计一个风洞模型,核打击模型,汽车公司要做一个自动驾驶模型,金融部门要做一个风险监控模型,舆论监管部门要做一个自动舆论监控与引导模型

    上面这几个例子 ChatGPT 目前是做不了的,未来 2-3 年有可能能做,但是不会让他做的

    还有目前的大模型太依赖算力,太依赖大量的数据。降低算力要求,像人类一样自主学习,学习人类的情感,学习人类的思维跳跃和创新能力,能做的事情太多了

    新技术会带来新机会,至于机会是什么,就看大家怎么把控了。未来必然属于乐观者
    lbingl
        12
    lbingl  
       2023-11-10 15:27:32 +08:00   ❤️ 1
    @majianglin 首先你说的那几个领域的模型你觉得能用 gpt 的 decoder only 结构做不。而且楼主说的 nlp ,cv ,speech 这些领域,确实有一个好的通用模型就可以解决 80% 的问题了,现在可以个性化定制后解决 95% 都可以。
    另外微调很简单,对于大部分小公司,有了数据跑一遍 lora 就完事,之后有能力再过一遍强化学习。但是现在的开源模型加 lora 微调的效果根本就和 OpenAI 的没法比,原因是基础模型太烂了,再微调有什么用。
    我也是大模型从业者,也调过大语音模型,国内最利好的地方就是有墙,用不了 OpanAI 的产品。
    cryptogems
        13
    cryptogems  
       2023-11-11 23:43:07 +08:00
    @keepRun 哈哈哈,想法没问题,但是真的看笑了,国内这些垃圾公司的臭不要脸行为已经被大家默许了 lol
    keepRun
        14
    keepRun  
       2023-11-12 01:08:49 +08:00
    @cryptogems 我打赌,10 年后必然会有类似行为,用户的数据在手上厂商不可能不拿来喂 ai
    Xealml
        15
    Xealml  
    OP
       2023-11-13 13:37:28 +08:00
    @zsj1029 哎,算法工程师还是需要一些壁垒,现在看应用层真没啥壁垒
    Xealml
        16
    Xealml  
    OP
       2023-11-13 13:37:57 +08:00
    @gps949 感觉中期看也不是很稳啊
    clockwise9
        17
    clockwise9  
       329 天前
    @Xealml 算法除了增效还可以降本。毕竟目前大模型的单次推理开销还是很大的,如果不是很重要的任务,直接用大模型很可能是划不来的。
    sch1111878
        18
    sch1111878  
       272 天前
    @gps949 大哥真的厉害
    sch1111878
        19
    sch1111878  
       272 天前
    @vToExer 请教为什么会失业, 是大模型或者 AI 覆盖了从业场景吗?
    yudoo
        20
    yudoo  
       237 天前
    @vToExer nlp 薪资怎么样, java 从业者还想转行呢
    Dimen61
        21
    Dimen61  
       144 天前
    @gps949 #2 老哥真的有洞见!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2764 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 08:42 · PVG 16:42 · LAX 00:42 · JFK 03:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.