Video-Point Model：用点轨迹预测构建四维世界模型
研究者提出Video-Point Model，以多视角视频与语言指令为输入，联合预测未来视频与场景点的三维轨迹，并将动作作为生成器模态用于机器人控制。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
研究团队提出Video-Point Model（VPM），一种以多视角视频历史和语言指令为条件的世界模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身，可同时预测任意视角的未来视频以及持续存在的场景点的三维轨迹。该工作扩展了预训练世界模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身，加入相机条件化的多视角处理模块，用于整合不同相机间的互补观测，并新增轨迹头预测物理点随时间的运动。每条轨迹在所有视角中跟踪同一空间点，因此在生成视频的同时对这些轨迹进行监督，可将各相机的外观变化锚定到统一的运动描述上。为支撑训练与评测，团队构建了VPM-Data仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快，但和真实世界总有差距。◆ 小白科普 · 现身语料，将同步多视角视频与持续点轨迹配对，并建立VP-WorldBench基准，覆盖仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快，但和真实世界总有差距。◆ 小白科普 · 现身与真实环境。
研究者进一步把机器人动作作为token模态加入生成器，使其与未来视频在同一骨干上联合去噪，从而将策略建立于三维感知表征之上。在VP-WorldBench及已有四维生成基准上，点监督相对仅视频方案提升了视频保真度与三维运动精度；在仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快，但和真实世界总有差距。◆ 小白科普 · 现身和真机实验中，具备动作能力的模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身操作成功率也有所提高。