1
zentst 2023-08-01 09:52:55 +08:00
家居机器人的主要问题是硬件吧?这不是工厂这种单一应用的场景,能按需应对各种场景的硬件才是实际。
你们可能觉得能执行一些整理工作就算成功的机器人,但实际上能煮鸡蛋能拨壳,能打蛋煎蛋,能摊蛋皮才是实际需求。靠目前的机器手+ai 可差远了。 |
2
Weixiao0725 OP @zentst 你说的那个太精细导致太遥远了。如果要做的话,机器人这块肯定找合作厂商啊,只需要他们提供 SDK 能操作机器人就行。我们要做的就是,如何把视觉-语言(文字/语音)-指令对齐,这一块才是重点。
|
3
HowardMei 2023-08-01 10:55:46 +08:00
vla 模型还在研究状态,不过这个已经算抽象层了,还相对简单,面对的都是量化理想模型。
最难的是物理层,如何处理真实世界的各种不完美和 Glitches ,系统鲁棒性要能抗各种随机、非随机事件干扰,比如:机器人部件随着使用会发生形变、磨损,而且不同工况有不同的磨损形态,力学模型会随之出现较大改变,没办法简单抽象,出现不可能三角:动作精密度——通用多任务——系统鲁棒性。 目前看,专用化才是王道。 |
4
isSamle 2023-08-01 17:02:23 +08:00
@Weixiao0725 不用用到大预言模型,简单的指令样本进行训练应该就可以了,虽然我没用过,但是我之前想过(做了一部分),树莓派-->语音唤醒-->vosk 语音识别-->文本指令匹配-->调用相应功能接口
|