TECHNOLOGY · 技术
具身大模型
Show-Harness:绕过专用VLA训练,用通用VLM直接操控机器人
预印本论文Show-Harness提出新思路,不训练专用VLA,直接以通用VLM加适配接口操控机器人。
AI 编撰 · 内容基于所列来源,重要信息请以原文为准
据预印本论文《Show-Harness: Just a VLM Agent Can Play Robots》介绍,研究提出一种不同于主流的技术路线。传统方案通常需要专门训练视觉语言动作模型AI 模型的简称,指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令,输出动作。◆ 小白科普 · 现身(VLA),而Show-Harness不再训练专用VLA,而是直接向通用视觉大模型用海量数据训练出来的超大规模 AI 程序,具备一定的理解和推理「常识」。ChatGPT 是语言大模型,机器人用的是能输出动作的大模型。◆ 小白科普 · 现身(VLM)提供一套适配接口,由其完成对机器人的控制。
其核心原理是:先将机器人控制封装为简洁的语义动作单元,交由VLM进行推理;再通过本体专用解释器,把VLM输出的语义指令转化为物理动作。该方法试图省去针对特定机器人本体的VLA训练环节,使通用VLM具备操控机器人的能力。
该工作为预印本,相关技术细节与实验结论仍需以论文原文为准。