离线强化学习策略解耦提取新范式

离线强化学习强化学习一种 AI 训练方法：让机器人在亿万次「试错」中自己摸索，做对了就给奖励。机器人走稳路、跑酷空翻，大多是这么练出来的。◆ 小白科普 · 现身（Offline RL）方法通常联合训练actor和critic，利用critic引导actor选择高价值动作。然而，离线数据固定，actor的策略改进无法产生新数据来验证或修正critic，导致actor更新可能漂移至分布外高价值动作，加剧critic过估计。为此，研究者提出将策略改进从actor训练中解耦：actor仅建模行为分布，推理时通过独立学习的critic对多个候选动作重新排序实现策略改进。实验表明，该范式优于行为克隆和联合学习离线RL方法，即使使用朴素Q-learning critic也有效。该研究为离线RL提供新思路，有望提升具身智能具身智能Embodied AI让 AI 通过机器人身体感知并作用于真实世界，不只在屏幕里回答问题。◆ 小白科普 · 现身中基于固定数据集数据集按统一格式整理好的大批量数据集合，是训练 AI 模型的「教材库」。开源数据集相当于整个行业的公共基础设施。◆ 小白科普 · 现身训练策略的可靠性和性能。