WorldCrafter：隐式三维感知记忆视频世界模型

WorldCrafter是一种视频世界模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身，旨在支持动态环境的交互式探索，并改善模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身在长时程和跨视角下对先前观测的遵循能力。其核心设计是学习一种相机可查询的隐式三维感知记忆，让请求的视角决定多视角证据如何压缩进视频生成器有限的token预算中。该记忆编码器与姿态条件读出模块同视频生成器联合训练，在去噪前将历史观测整合为一组固定的目标视角特定token，而不依赖显式的基于深度的对应关系。将这种记忆与近期时间上下文以及少步蒸馏相结合，WorldCrafter能够从单张输入图像或文本提示出发，实现流式场景探索。在静态和动态场景上的实验表明，该方法在长时程一致性和相机控制准确性方面取得显著提升，同时在分钟级探索过程中保持视觉质量。