何恺明团队发布视觉原生Harness框架VISTA，并规划具身任务验证
何恺明团队提出视觉原生Harness框架VISTA，无需重训模型即可保存并回看原始画面，在ARC-AGI-3等基准上提升多模态模型表现，后续指向具身任务。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出视觉原生Harness框架VISTA。该方法不额外训练基础模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身，而是让现有多模态模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身直接观察环境、保存原始画面，并在推理需要时回看、放大和检查细节。
VISTA包含视觉观测、无损视觉记忆和主动视觉检查三个组件。视觉观测将环境画面提供给模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身，在ARC-AGI-3实验中，官方64×64画面被放大为512×512的PNG图像。无损视觉记忆在每次动作后完整保存环境返回的所有画面，包括动画中间帧，并按回合号和帧号建立索引。主动视觉检查通过inspect工具让模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身指定历史回合调出画面、裁剪放大局部，或一次调出多帧对比动作前后变化。框架还引入GUIDE.md和WORKING.md两份文字笔记，上下文接近上限时先整理交接摘要再进入新窗口。默认每次动作后只向模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身展示最后一帧，其余画面存入视觉档案按需调取。
在ARC-AGI-3全部25个公开游戏中，搭配VISTA，Claude Opus 5.0相对人类动作效率得分达到满分100，所用游戏动作数比首次游玩的人类基线少57.4%；GPT-5.6 Sol同样全部通关，得分99。在GameWorld的170项任务中，使用相同GPT-5.6 Sol，成功率从40.0%提高到63.3%；在AI GameStore的10个游戏中，综合得分从47.3升至140.3；在BabyVision选取的39道迷宫与连线题上，准确率从41.0%提高到63.2%。
论文三位共同第一作者为Qiushi Han、胡珂雅和Linlu Qiu，另外两位作者为Cathy Wu和何恺明。研究将未来验证方向指向更接近物理世界的具身任务，让模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身在持续变化环境中保存、复查并利用视觉经验决定下一步行动。