DISCO：将连续动作空间树搜索蒸馏进策略网络
研究者提出 DISCO，用物理仿真中的渐进加宽 MCTS 生成长程规划，再将搜索结果蒸馏进策略与价值模型。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
来自 arXiv 的一篇论文提出 DISCO（Distilled Tree Search over Continuous Actions），试图把基于搜索的长程推理能力迁移到连续动作空间的策略中。作者为 Kallol Saha、Yining Hong、Amber Li、Yejin Choi、Maxim Likhachev、David Feld。
研究指出，长程操作任务中的学习型策略既要避免误差累积，又要保证后续步骤仍然可行；基于搜索的规划虽能显式考虑未来后果，但在高维连续动作空间中代价迅速上升。
DISCO 的做法是在物理仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快，但和真实世界总有差距。◆ 小白科普 · 现身中使用渐进加宽的 MCTS 生成长程规划：搜索过程中由学习到的策略提出连续动作，由学习到的价值函数按任务完成的预期进展为动作打分；借助 GPU 并行化仿真在电脑里搭建虚拟世界来测试、训练机器人。成本低、速度快，但和真实世界总有差距。◆ 小白科普 · 现身，方法周期性地将 MCTS 生成的规划蒸馏进策略-价值模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身，以改进后续搜索所用的动作提议与价值估计。最终学习到的策略-价值模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身可直接部署把机器人真正放到工作现场长期干活，而不只是在实验室演示。部署规模决定了数据回流和经验积累的速度。◆ 小白科普 · 现身，测试时无需依赖仿真器搜索。
在仿真与真实环境的重排任务中，DISCO 的表现优于行为克隆、强化学习一种 AI 训练方法：让机器人在亿万次「试错」中自己摸索，做对了就给奖励。机器人走稳路、跑酷空翻，大多是这么练出来的。◆ 小白科普 · 现身以及基于搜索的基线方法。