FERPO：前向熵正则化策略优化在连续控制与操作任务中取得竞争性表现

来自Sebastian Sanokowski、Alireza Sarmadi与Majid Khadiv的研究提出前向熵正则化策略优化（FERPO），一种在线最大熵强化学习强化学习一种 AI 训练方法：让机器人在亿万次「试错」中自己摸索，做对了就给奖励。机器人走稳路、跑酷空翻，大多是这么练出来的。◆ 小白科普 · 现身算法。当前连续控制中若干先进在线强化学习强化学习一种 AI 训练方法：让机器人在亿万次「试错」中自己摸索，做对了就给奖励。机器人走稳路、跑酷空翻，大多是这么练出来的。◆ 小白科普 · 现身方法依赖已学习critic的动作梯度来改进策略，但critic通常以预测回报为目标训练，准确的价值预测未必意味着准确的动作导数，可能导致策略更新不可靠。FERPO的改进方式是不对critic关于动作求导，而是从以熵和KL散度正则化的策略改进目标中推导出最优目标动作分布，再通过最小化前向KL目标将actor拟合到该目标，该目标使用自归一化重要性采样（SNIS）估计，采样动作来自rollout策略。

通过限制目标分布偏离rollout策略，KL正则有助于保持重要性权重良好行为。与可能偏向目标分布部分模态的反向KL目标相比，前向KL目标鼓励覆盖多个高价值模态，从而促进探索。在MuJoCo Playground和ManiSkill上的实验与消融显示竞争性性能和样本效率收益。计算基准还表明其actor更新快于相对熵路径策略优化（REPPO）。