TECHNOLOGY · 技术
算法研究编辑精选
新MBRL算法CAST：交替状态价值目标与扩展策略梯度
研究提出CAST算法，结合规划与学习策略，提升价值学习，并在Unitree Go2四足机器人上完成动态倒立演示。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
一篇发表于arXiv的论文介绍了名为CAST的模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身强化学习一种 AI 训练方法：让机器人在亿万次「试错」中自己摸索，做对了就给奖励。机器人走稳路、跑酷空翻，大多是这么练出来的。◆ 小白科普 · 现身算法。该算法由多位研究者共同提出，旨在结合学习模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身与在线规划，以提升机器人动作选择的样本效率。CAST创新地使用状态价值批评器取代动作价值批评器，其训练目标融合了真实规划引导的转移和当前策略下的想象转移。这种交替过程使价值函数既能受益于更强的规划行为，又能受到正在学习的策略的正则化。研究在DeepMind Control和HumanoidBench基准上进行了评估，并与多种先进方法对比。此外，研究团队成功将该算法迁移到实际的Unitree Go2四足机器人四条腿走路的机器人，也就是常说的「机器狗」。比双足更稳、技术更成熟，常用于巡检、科研和陪伴，也是很多人形机器人公司的技术起点。◆ 小白科普 · 现身上，完成了动态倒立动作，展示了其在真实物理系统中的可行性。