V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Weixiao0725
V2EX  ›  分享创造

有人对 AI Robot 感兴趣吗?

  •  
  •   Weixiao0725 · 2023-08-01 01:58:55 +08:00 · 1150 次点击
    这是一个创建于 464 天前的主题,其中的信息可能已经有所发展或是发生改变。
    在目前大语言背景下,打造一个通用家居机器人是否变得更可行了呢?

    目前 deepmind 已经在这方面做出了探索,国内稚辉君好像也在这方面探索。 有人感兴趣吗?可以一起聊一下,成熟的话可以考虑一起做点事情。

    Ref:
    https://mp.weixin.qq.com/s/xeMbt9mknZVaL3XguQxemg
    zentst
        1
    zentst  
       2023-08-01 09:52:55 +08:00
    家居机器人的主要问题是硬件吧?这不是工厂这种单一应用的场景,能按需应对各种场景的硬件才是实际。
    你们可能觉得能执行一些整理工作就算成功的机器人,但实际上能煮鸡蛋能拨壳,能打蛋煎蛋,能摊蛋皮才是实际需求。靠目前的机器手+ai 可差远了。
    Weixiao0725
        2
    Weixiao0725  
    OP
       2023-08-01 10:20:17 +08:00
    @zentst 你说的那个太精细导致太遥远了。如果要做的话,机器人这块肯定找合作厂商啊,只需要他们提供 SDK 能操作机器人就行。我们要做的就是,如何把视觉-语言(文字/语音)-指令对齐,这一块才是重点。
    HowardMei
        3
    HowardMei  
       2023-08-01 10:55:46 +08:00
    vla 模型还在研究状态,不过这个已经算抽象层了,还相对简单,面对的都是量化理想模型。
    最难的是物理层,如何处理真实世界的各种不完美和 Glitches ,系统鲁棒性要能抗各种随机、非随机事件干扰,比如:机器人部件随着使用会发生形变、磨损,而且不同工况有不同的磨损形态,力学模型会随之出现较大改变,没办法简单抽象,出现不可能三角:动作精密度——通用多任务——系统鲁棒性。
    目前看,专用化才是王道。
    isSamle
        4
    isSamle  
       2023-08-01 17:02:23 +08:00
    @Weixiao0725 不用用到大预言模型,简单的指令样本进行训练应该就可以了,虽然我没用过,但是我之前想过(做了一部分),树莓派-->语音唤醒-->vosk 语音识别-->文本指令匹配-->调用相应功能接口
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5358 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 08:35 · PVG 16:35 · LAX 00:35 · JFK 03:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.