StructRL：面向长时域视觉-语言-动作任务的结构化强化学习框架
研究者提出StructRL在线强化学习框架，通过可验证子任务为长时域视觉-语言-动作模型构建结构化中间奖励，在GR00T-N1.5与pi 0.5等模型上优于评估过的基线。
AI 编撰 · 内容基于所列来源，重要信息请以原文为准
针对视觉-语言-动作模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身在长时域操作任务中表现不佳的问题，研究者提出名为StructRL的在线强化学习一种 AI 训练方法：让机器人在亿万次「试错」中自己摸索，做对了就给奖励。机器人走稳路、跑酷空翻，大多是这么练出来的。◆ 小白科普 · 现身框架。现有在线强化学习一种 AI 训练方法：让机器人在亿万次「试错」中自己摸索，做对了就给奖励。机器人走稳路、跑酷空翻，大多是这么练出来的。◆ 小白科普 · 现身方法通常仅在完整任务成功后才给出奖励，这种终端监督信号稀疏，且无法区分早期失败与取得实质部分进展的轨迹。StructRL以可验证的子任务完成情况构建结构化中间监督：将每个任务拆解为可验证的子任务，仅当前置子任务完成后才授予中间奖励，并依据完成节奏调整奖励大小。研究在RoboCasa365和LIBERO-Long任务上，结合GR00T-N1.5与pi 0.5模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身进行评估，StructRL持续优于所对比的在线强化学习一种 AI 训练方法：让机器人在亿万次「试错」中自己摸索，做对了就给奖励。机器人走稳路、跑酷空翻，大多是这么练出来的。◆ 小白科普 · 现身基线。结果表明，可验证的结构化中间奖励有助于改善长时域视觉-语言-动作模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身的后训练效果。
相关代码已在 https://github.com/amazon-science/StructRL 公开。