DEX-X：通过仿真交互从人类视频学习视觉触觉灵巧操作

来自多所高校和机构的研究者提出DEX-X框架，旨在解决人类视频缺乏触觉信息的问题。该框架利用仿真仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快，但和真实世界总有差距。◆ 小白科普 · 现身作为触觉补全引擎，从单目人类演示中重建手物交互，利用物理接触动力学生成触觉监督。研究团队基于恢复的触觉信息训练视觉触觉灵巧操作策略，并将其蒸馏为可利用点云和触觉传感的部署部署把机器人真正放到工作现场长期干活，而不只是在实验室演示。部署规模决定了数据回流和经验积累的速度。◆ 小白科普 · 现身策略。在灵巧手灵巧手Dexterous Hand安装在机械臂末端、可以完成多指抓握和精细操作的机器人手。◆ 小白科普 · 现身-手臂平台上，教师策略在仿真仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快，但和真实世界总有差距。◆ 小白科普 · 现身中六类任务平均成功率达65.9%，蒸馏后的策略在真实世界物体拾取任务中成功率达93%，在挑战性的桌面清理任务中达53%，并观察到对未见物体几何的零样本泛化泛化指 AI 面对没见过的新东西、新场景时也能举一反三做出正确反应的能力。这是「通用机器人」和「专用机器」的分水岭。◆ 小白科普 · 现身。研究结果表明，仿真仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快，但和真实世界总有差距。◆ 小白科普 · 现身交互是人类视频与可部署灵巧操作策略之间的关键桥梁。