正在发生
现身看见具身智能正在发生
TECHNOLOGY · 技术
具身大模型编辑精选

亮源新创发布Light-O1:互联网规模人类动作预训练验证迁移缩放定律

亮源新创发布Light-O1技术博客,将人类动作预训练规模从37.5亿扩展至1200亿tokens,跨本体动作预测误差呈幂律下降,提出迁移缩放定律。

文 / 现身编辑部来源 / 量子位约 2 分钟读完技术 · XIANSHEN

AI 编撰 · 内容基于所列来源,重要信息请以原文为准

亮源新创发布Light-O1:互联网规模人类动作预训练验证迁移缩放定律
资料图片 · 来源:量子位 · 加载失败时显示生成封面

9月21日,亮源新创(Light Origins)在官网发布技术博客,披露其Light-O1模型AI 模型的简称,指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令,输出动作。◆ 小白科普 · 现身的人类动作预训练方案。该方案从互联网第三视角人类行为视频中恢复结构化人类动作,编码为统一的人形动作表示,并与视觉、语言信息一同进行自回归预训练,形成人类动作先验(Human Action Prior)。

此次披露的预训练规模从37.5亿扩展至1200亿词元(token),最大规模约对应10万小时人类动作。Light-O1分别在第一视角人类数据、公开机器人数据以及亮源新创自研人形机器人外形模仿人类、有头有手有腿的机器人。最大优势是能直接使用为人类世界设计的工具和空间——楼梯、门把手、工厂工位都不在话下。◆ 小白科普 · 现身数据上进行目标域适配。随着预训练规模扩大,适配后的动作预测误差、全身姿态误差和腕部位置误差均持续下降,并呈现幂律趋势。亮源新创将这一现象称为“迁移缩放定律”(Transfer Scaling Law)。

亮源新创表示,该结果首次验证了互联网规模的人类动作预训练对多本体人形机器人外形模仿人类、有头有手有腿的机器人。最大优势是能直接使用为人类世界设计的工具和空间——楼梯、门把手、工厂工位都不在话下。◆ 小白科普 · 现身的迁移缩放定律。不过,相关评估基于目标域适配后的留出数据开环评测,并不等同于真实机器人闭环任务成功率。

在同一时期,Figure和Dyna Robotics也发布了人类数据预训练的相关进展。Figure用Index预训练将30个陌生家庭中完整任务成功率从9%提升至56%,并公布4档嵌套数据下离线动作预测损失随规模下降;Dyna则用1000小时至100万小时第一视角人类视频,将14个真实机器人任务的平均归一化表现从20%提升至53%。三者分别从不同层面检验了人类经验对机器人预训练的规模效应,但离线迁移指标与闭环表现的关系仍待进一步验证。