TECHNOLOGY · 技术
具身大模型与强化学习
PGPG：无需人工标注的生成式控制策略偏好对齐框架
研究提出PGPG无监督偏好对齐框架，借助专家演示自动生成伪偏好标签，用于微调生成式控制策略。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
arXiv 收录的一篇论文提出 Progress-Guided Preference Generation（PGPG），一种无需人工参与监督的无监督偏好对齐框架，用于微调预训练的生成式控制策略。研究指出，生成式策略在模仿学习任务中表现较强，但受限于专家演示数量有限；现有基于偏好的微调方法虽可利用次优轨迹提升性能，却高度依赖昂贵的人工标注。PGPG 通过有序覆盖对齐（ordered coverage alignment），衡量自主采集轨迹相对少量专家演示的顺序进度，从而自动提取伪偏好标签，并对预训练生成式策略进行有效微调，无需手工设计奖励函数。论文还对该偏好信号的可靠性做了关键增强。
作者在多项具有挑战性的长时程操作任务上开展实验，结果显示 PGPG 优于标准监督微调基线；该框架还具有较好的通用性，可同时应用于扩散策略与流匹配策略。