Show-Harness：用语义动作接口让 VLM 直接操控机器人
研究者提出 Show-Harness 具身框架，通过离散语义动作接口让 VLM 直接控制机器人，并推出 GUMI 实现跨本体示范采集。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
有研究团队提出 Show-Harness，一种被称为具身 Harness 的框架，试图让视觉语言模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身（VLM）通过紧凑的语义接口“操控”机器人。该接口将意图与动作相连，向 VLM 暴露可推理的离散语义动作单元，再由针对具体本体设计的解释器将其确定性地落地为机器人本地动作，使 VLM 直接负责细粒度物理决策。
基于同一接口，研究团队验证了两条路径：一是直接解锁闭源前沿 VLM 用于零样本机器人控制，二是用少量 GPU-hours 微调小规模开源把代码、数据集或硬件设计公开给所有人免费使用。机器人公司常用开源来换取开发者和科研生态的支持。◆ 小白科普 · 现身 VLM，以低成本部署把机器人真正放到工作现场长期干活，而不只是在实验室演示。部署规模决定了数据回流和经验积累的速度。◆ 小白科普 · 现身。团队还开发了 GUMI（GUI Manipulation Interface），将同一语义动作空间扩展到基于图形界面的示范采集，让人类与智能体无需专用遥操作Teleoperation由人在远端控制机器人完成动作，并把这些示范记录为训练数据。◆ 小白科普 · 现身硬件即可跨本体“操控”机器人。
实验显示，搭载 Show-Harness 的 VLM 智能体在任务、本体和环境维度上表现出较强泛化指 AI 面对没见过的新东西、新场景时也能举一反三做出正确反应的能力。这是「通用机器人」和「专用机器」的分水岭。◆ 小白科普 · 现身能力，优于代表性的智能体方案与 VLA 范式。研究者认为，合适的接口可释放基础 VLM 的具身能力，无需增加模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身容量或进行昂贵的本体专属预训练。