AffordanceWAM：以可供性为接口的联合世界-动作建模用于机器人操作
研究者提出 AffordanceWAM，在生成未来世界中对可供性进行建模，并联合预测机器人动作，在 RoboCasa 等基准上优于基线。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
研究者提出 AffordanceWAM，一种可供性感知的生成式世界-动作模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身，将可供性作为视觉预测与动作生成之间的接口。该模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身以 Scalar Affordance 与 Affordance Heatmap 两种形式，在以物体为中心的生成未来世界中表示时空可供性，为人类视频与机器人视频提供共享的交互目标。
模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身建立在预训练视频扩散 Transformer 之上，使用分别参数化的 World Expert 与 Action Expert，通过 Masked Joint Self-Attention 耦合，在统一的流匹配目标下联合预测未来 RGB 观测、Scalar Affordance 场、Affordance Heatmap 与连续机器人动作。人类视频可监督全部三路未来世界输出，机器人轨迹则额外提供动作监督，从而无需人类动作标签或重定向即可实现迁移。
在 RoboCasa、CALVIN ABC→D 和真实世界操作任务上的实验显示，该方法相对仅 RGB 基线与仅机器人数据基线取得一致增益；在固定机器人监督下，RoboCasa 性能随带可供性标注的人类视频规模增加而单调提升。研究据此认为，可供性可作为视觉-语言-动作学习与人类到机器人迁移的有效接口。