DUET-DINO：面向机械臂操作的跨视角潜在世界模型
研究提出跨视角潜在世界模型DUET-DINO，结合侧视与腕部相机观测，在7自由度动作空间实现潜在规划，多项任务成功率优于基线。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
arXiv刊登的研究提出DUET-DINO，一种同步跨视角潜在世界模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身，用于机械臂像人的手臂一样伸展抓取的装置，是工业自动化里最成熟的机器人形态，也是人形机器人「胳膊」的技术前辈。◆ 小白科普 · 现身操作中的潜在规划。作者指出，动作条件潜在世界模型虽可预测未来视觉表征，但在7自由度DoF机器人能独立运动的方向数量；自由度越多，动作通常越灵活，控制也更复杂。◆ 小白科普 · 现身末端执行器控制中，对细粒度空间与旋转动作的预测并不可靠。为此，该模型通过跨视角条件化，联合学习来自固定侧视相机与腕部相机观测的动作条件预测，利用全局场景信息与以夹爪为中心的信息互补，从而在完整7自由度动作空间上开展潜在规划。在空间分布多样的到达、偏重姿态的斜向到达以及多目标抓取抬起任务中，DUET-DINO持续优于单视角与独立双视角基线，到达任务成功率92%，斜向到达72.5%，抬起任务60.0%。
模型基于DROID与RoboArena数据集按统一格式整理好的大批量数据集合，是训练 AI 模型的「教材库」。开源数据集相当于整个行业的公共基础设施。◆ 小白科普 · 现身从零训练，并在视觉分布偏移下保持稳健泛化指 AI 面对没见过的新东西、新场景时也能举一反三做出正确反应的能力。这是「通用机器人」和「专用机器」的分水岭。◆ 小白科普 · 现身。研究还表明，在细粒度动作引发的视觉动态上，V-JEPA 2腕部视角预测存在低估，而DINOv3预测能更好捕捉动作条件场景变化，带来更强的下游规划。代码与模型检查点将开源把代码、数据集或硬件设计公开给所有人免费使用。机器人公司常用开源来换取开发者和科研生态的支持。◆ 小白科普 · 现身。