DeltaWAM：联合预测视觉增量与动作的双臂操作世界动作模型

世界动作模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身（WAMs）通过联合建模视觉动态与动作，将预训练视频生成器中的视觉和运动先验迁移到机器人控制。现有 WAMs 在训练阶段预测稠密未来帧，反复建模基本不变的内容，并将动作条件动态与无关的外观变化耦合。推理时，每个完整观测都要经过庞大的视频专家处理，成为少步动作生成的瓶颈。为此，研究者提出 DeltaWAM，使用稠密锚点、稀疏增量和动作流联合预测视觉增量与动作，并给出三种在表征与计算共享上不同的架构。同时开发了 Streaming Delta Memory（SDM），用紧凑的观测增量更新缓存的锚点上下文，减少视频专家的繁重处理。

在 RoboTwin 上，配备 SDM 的 DeltaWAM 将平均成功率从 Fast-WAM 的 81.3% 提升至 85.4%，在视觉随机化条件下从 75.8% 提升至 83.9%。三种架构将训练 FLOPs 降低 17.78-23.77%；SDM 将单步推理延迟和 FLOPs 分别降低 36.57% 和 31.55%。真实世界评估进一步显示，在受评估策略中取得最高总体成功率和归一化进度。代码已开源开源把代码、数据集或硬件设计公开给所有人免费使用。机器人公司常用开源来换取开发者和科研生态的支持。◆ 小白科普 · 现身。