地平线开源仿真训练生成引擎EmbodiedGen,打通MuJoCo、Genesis和IsaacSim
地平线开源EmbodiedGen,可将图像或文字生成可用仿真资产和任务世界,支持多仿真器部署,提升机器人训练效率。
AI 编撰 · 内容基于所列来源,重要信息请以原文为准
地平线开源把代码、数据集或硬件设计公开给所有人免费使用。机器人公司常用开源来换取开发者和科研生态的支持。◆ 小白科普 · 现身机器人仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快,但和真实世界总有差距。◆ 小白科普 · 现身训练生成引擎EmbodiedGen,该工作分为两代。V1能够将图像或文字输入转换为带有物理属性的URDF资产,包括网格修复、尺度与质量估计及碰撞模型AI 模型的简称,指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令,输出动作。◆ 小白科普 · 现身生成,在150个杯子资产上自动质检精确率为68.7%,召回率为76.7%。V2进一步生成完整任务世界,输入自然语言描述后,系统拆解为场景图,完成资产实例化、空间摆放与物理沉降,并自动标注部件可供性与抓取姿态。V2支持将同一世界导出至MuJoCo、Genesis、IsaacSim、SAPIEN、Bullet和Isaac Gym等多种仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快,但和真实世界总有差距。◆ 小白科普 · 现身器,并具备多房间场景生成与自然语言编辑能力。
评测结果显示,V2的资产人工接受率达到96.5%,碰撞成功率98.6%,任务世界直接可用率为83.3%,单世界平均生成时间47.7分钟。配套下游研究表明,使用生成场景训练的机器人策略在仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快,但和真实世界总有差距。◆ 小白科普 · 现身中成功率从9.7%提升至79.8%,真实机器人成功率从21.7%提升至75.0%。