V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
CaptainD
V2EX  ›  职场话题

公司提供一个机会去做 AI 相关的工作,要不要试试

  •  
  •   CaptainD · 2024-01-26 17:10:47 +08:00 · 5482 次点击
    这是一个创建于 371 天前的主题,其中的信息可能已经有所发展或是发生改变。

    近期领导找聊天,我们内部在做一个 LLM 相关的项目,想让我过去做,说是可以提供一些显卡和一些钱组工作站在家里整这件事(家宽比较方便),估计是 4090 这个级别的卡外加几千块钱,每月补贴电费网费这样

    背景

    • 几个人的小作坊公司
    • 我是数据工程师,比较偏后端那种
    • 我对训练模型了解不多,只是自己用 langchain 做过小 demo ,私有部署过开源模型

    可能用的技术

    • 这个项目是一个自动化的任务,会大量调用 LLM 获得一些结果,后续可能会集成 fastapi 做成服务这样
    • 我看了一些博文,我需要做的部分大概是 RAG + 指令式微调 + 单任务微调(我不太懂,可能不准确)

    我的想法

    这算一个研究中的项目,主要是利用 LLM 做一个工程上的东西,我还比较感兴趣,而且老板说每周大概可以抽一天时间居家办公做这件事,感觉也挺不错的

    25 条回复    2024-01-31 23:01:46 +08:00
    cookgo
        1
    cookgo  
       2024-01-26 17:15:26 +08:00
    为啥公司的项目要把设备部署在你家?有没有一种可能:AI“跑偏”了之后你要承担所有的法律责任?
    efore
        2
    efore  
       2024-01-26 17:16:03 +08:00
    自己感兴趣的话完全可以做,不在家的工作日还可以出租显卡,比如咸鱼上挂单帮别人跑跑数据集啥的。只是你得保证最后得有产出
    CodersZzz
        3
    CodersZzz  
       2024-01-26 17:18:10 +08:00
    一周一天都要在家里弄,公司是给不起电费吗。
    CaptainD
        4
    CaptainD  
    OP
       2024-01-26 17:18:56 +08:00
    @cookgo #1 不是部署在我家,应该是在家里开发,方便下载模型和数据集,模型调试好之后会部署在云上或者买物理机托管
    CaptainD
        5
    CaptainD  
    OP
       2024-01-26 17:19:31 +08:00
    办公室网很差
    CaptainD
        6
    CaptainD  
    OP
       2024-01-26 17:20:19 +08:00
    @efore #2 出租之类的就不考虑了,下班打打游戏之类的倒是可以
    Yuhyeong
        7
    Yuhyeong  
       2024-01-26 17:25:00 +08:00
    4090 单卡跑大的 LLM 感觉有点凑合啊,待遇感觉挺好,就是这条件有点难出成果。
    CaptainD
        8
    CaptainD  
    OP
       2024-01-26 17:28:40 +08:00
    @Yuhyeong #7 我对硬件什么的不太了解,有相关资料吗?
    不会用 4090 直接部署,是用 4090 把流程跑通,后续部署在云上,可能会用 serverless 的服务,我们也在看一些 8 卡机器的托管,因为调用量很大,部署肯定不是单卡

    工资相比互联网很低。。。
    Feiex
        9
    Feiex  
       2024-01-26 17:38:47 +08:00
    为啥不用线上的 GPU ,要自己组机器,电费谁掏?
    CaptainD
        10
    CaptainD  
    OP
       2024-01-26 17:51:41 +08:00
    @Feiex #9 我也不知道,电费网费公司出,我上面应该提了,细节应该不固定,到时候在申请应该就行,感觉我们这方面的管理超松散
    orikey
        11
    orikey  
       2024-01-26 17:54:09 +08:00
    @CaptainD 你知道 chatchat 嘛,我是后端,用这个估计开箱即用吧
    vicalloy
        12
    vicalloy  
       2024-01-26 17:56:19 +08:00
    如果只是领导突发奇想的一个想法,建议不要主动入坑。
    所谓的训练啥的,基本按照流程操作就好了,不会有太多技术方面的东西。
    主要靠的是算力和原始数据的整理,这两个,一个是钱,一个是体力活。
    nnqijiu
        13
    nnqijiu  
       2024-01-26 17:59:53 +08:00
    入坑需谨慎
    CaptainD
        14
    CaptainD  
    OP
       2024-01-26 18:02:10 +08:00
    @orikey #11 我看了一下,好像还不是我需要的,因为调用都是机器调用,不需要界面,也不是简单的问答形式,本地知识库的部分可能有些帮助,我可能要研究下
    CaptainD
        15
    CaptainD  
    OP
       2024-01-26 18:04:07 +08:00
    @vicalloy #12 也不算突发奇想吧,因为专门做算法同事已经开始做了一段时间了,训练部分可能不太需要我做,但是整理数据我肯定要做,然后就是工程部分
    min
        16
    min  
       2024-01-26 18:25:30 +08:00
    调什么调,直接 gpt4+RAG ,4090 卖了换钱

    lol
    Flicker
        17
    Flicker  
       2024-01-26 18:35:27 +08:00
    看标题,感觉可以去;看了内容,还是算了吧。楼上大家说得都很对。
    wonderfulcxm
        18
    wonderfulcxm  
       2024-01-26 18:49:52 +08:00 via iPhone
    为什么不做呢?又不用你出钱。
    me1onsoda
        19
    me1onsoda  
       2024-01-26 18:52:47 +08:00
    想起了前阵子的 gpt 哥
    locoz
        20
    locoz  
       2024-01-26 20:53:58 +08:00
    什么样的操作,会出现“家宽比较方便”的情况?设备放公司通常不都是更加方便的选择吗?这一点如果没有合理的原因,还是别了吧...
    locoz
        21
    locoz  
       2024-01-26 20:55:43 +08:00
    @CaptainD #5 公司网络差可以改公司网络,不应该存在必须要你的家宽来解决问题的必要啊,尤其是都小作坊公司了,拉个好点的宽带也不难吧?
    Eafon
        22
    Eafon  
       2024-01-27 00:39:32 +08:00
    做老板都不知道自己到底想要什么,你就别瞎掺和了,除非这件事是你特别感兴趣,那玩玩无妨。
    beyondsoft
        23
    beyondsoft  
       2024-01-27 16:58:06 +08:00
    不要自己搭建了, 单卡 4090 没有什么算力, 微调个 30b 都难. 建议去用租云 GPU, A100 也不是事,还便宜
    kuroissimo
        24
    kuroissimo  
       2024-01-27 17:14:09 +08:00
    13B 的模型加载起来都要 27G... 单卡 4090 没有用的
    peezz
        25
    peezz  
       2024-01-31 23:01:46 +08:00
    几个人的小作坊公司,比互联网工资低很多,就是要个人来干杂活,让你在家里整,就是有备无患,云上被端了,你家里还有备份。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   687 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 22:38 · PVG 06:38 · LAX 14:38 · JFK 17:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.