GeoState：解耦视角的几何状态用于三维世界建模

近期三维世界模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身多采用几何基础模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身（GFM）提取的特征作为预测性世界状态，以利用其几何先验，但这类特征对视角的依赖会使场景动态与相机引起的差异相互纠缠，增加状态演化的预测难度。为此，研究者提出GeoState，一种面向预测性三维世界建模的视角解耦几何表示，尝试把场景状态演化与依赖相机的观测分开处理。方法上，场景分词器将多视角GFM特征聚合为视角解耦的场景状态，几何解码器再通过相机射线对该状态进行查询；自回归世界模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身负责预测未来场景状态，相机运动则单独建模。由此，预测出的状态既可在预测相机下解码，也可在外部指定的相机下解码，并在整个推演过程中保持单一的上下文导出尺度，无需逐帧做尺度对齐。

实验显示，GeoState在Waymo上优于此前的三维世界模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身，支持几何一致的跨视角查询，并可零样本泛化泛化指 AI 面对没见过的新东西、新场景时也能举一反三做出正确反应的能力。这是「通用机器人」和「专用机器」的分水岭。◆ 小白科普 · 现身到KITTI和nuScenes。项目页面已公开。