Agentic Real2Sim：基于视觉语言代理的物理世界建模

研究者提出Agentic Real2Sim框架，利用视觉语言代理将真实世界中的机器人交互记录自动转换为可运行物理仿真仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快，但和真实世界总有差距。◆ 小白科普 · 现身的情景孪生体，保留观测、几何、交互及物体状态。该框架通过VLM代理协调视觉基础模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身、网格清理、坐标对齐等流程，无需人工调参。实验覆盖刚体操作、变形体交互及人形运动场景，这些场景通常由独立的Real2Sim管线处理，本工作首次尝试统一转换。基于开源开源把代码、数据集或硬件设计公开给所有人免费使用。机器人公司常用开源来换取开发者和科研生态的支持。◆ 小白科普 · 现身VLM后端的代理决策成本仅为前沿模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身的极小部分，但转换成功率相当。研究旨在为下游机器人策略学习与评估提供真实对齐的孪生环境。