TECHNOLOGY · 技术
具身大模型与力控
生成视频与音频联合驱动零样本力感知操作
研究团队提出联合利用生成视频与音频，从自然语言任务提示中推导运动轨迹与期望力曲线，并在Franka Panda上验证。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
视频生成模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身已能让机器人从合成画面中学习操作轨迹，但这类方法输出的是纯运动学路径，缺失力的信息。在需要稳定接触的作业中，接触力是否恰当往往决定成败，因此仅靠运动学轨迹容易失败。
针对这一问题，研究者提出在生成视频之外引入生成音频，利用接触声音的响度塑造有界且随时间变化的期望力曲线。整套流程从结构化的自然语言任务提示出发，同时得到运动轨迹与对应的期望力曲线，再通过闭环力调节器在接触过程中跟踪该曲线。
团队在Franka Panda机器人上执行这些力感知轨迹，并在多个需要建立接触的任务上评测。结果显示，在仅含运动学的基线方法失败的场景中，该流程能够完成操作。研究者还把这一流程当作数据生成引擎，用于训练能够在闭环方式下完成任务的策略。
论文由Guanhua Ji、Tianyu Li、Dayoon Suh、Yuqian Zhang、Boyan Zhang与Nadia Figueroa完成，项目网站、视频与数据集按统一格式整理好的大批量数据集合，是训练 AI 模型的「教材库」。开源数据集相当于整个行业的公共基础设施。◆ 小白科普 · 现身已在项目主页公布。