MotorMind框架让通用VLM实现零样本机器人操作
研究者提出MotorMind，无需专用策略训练或外部工具，仅凭通用VLM在LIBERO-PRO仿真和真实xArm6上实现零样本机器人操作，成功率大幅领先先前方法。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
视觉-语言-动作（VLA）模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身已推动机器人操作进步，但其在新任务和新环境中的零样本泛化指 AI 面对没见过的新东西、新场景时也能举一反三做出正确反应的能力。这是「通用机器人」和「专用机器」的分水岭。◆ 小白科普 · 现身能力仍有局限，且对专用训练的依赖使其无法直接受益于快速演进的通用视觉语言模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身（VLM）。与此同时，近期智能体机器人系统虽利用VLM进行高层推理或借助编码智能体控制机器人，却往往依赖大量外部模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身与工具，带来额外复杂度和成本。
为此，研究者提出MotorMind，一种机器人操作测试框架，将VLM提议的中层动作与确定性机器人控制及反馈相连接，并具备异步监控和后台记忆更新功能。该方法无需任务专用的策略训练、编码智能体，也无需SAM3等额外接地工具。
在实验中，MotorMind在基础LIBERO-PRO套件上取得66.7%的成功率，在扰动条件下为53.8%；而所评估的先前零样本方法最高分别仅为13.3%和19.2%。同一接口在真实xArm6机器人上，于直接操作和人类扰动设置中平均成功率达95%。将基础模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身替换为更强的VLM可进一步提升性能，而剩余失败主要源于视觉接地、具身推理和动作知识，并随VLM能力提升而减少。这些结果表明，通用VLM在配备适当的中层动作表示和异步执行框架后，能够执行有效的零样本机器人操作。