TECHNOLOGY · 技术
具身大模型/机器人操作
浙大团队提出 RoboHarness:无需训练即可用通用 LLM 驱动机器人操作
浙大团队提出 RoboHarness,借助通用大模型与三块控制积木实现零训练机器人操作,并给出抓取位姿与 SE(3) 变换的完备性证明。
AI 编撰 · 内容基于所列来源,重要信息请以原文为准
浙江大学团队提出一种名为 RoboHarness 的方法,将通用大语言模型AI 模型的简称,指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令,输出动作。◆ 小白科普 · 现身的规划、推理与工具调用能力直接用于机器人操作,无需针对机器人数据做额外训练。研究者的判断是,通用模型AI 模型的简称,指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令,输出动作。◆ 小白科普 · 现身的能力已经足够,欠缺的是一套简洁完备的机器人控制接口。
该方法由三个组成部分构成:在图像上点选兴趣点,并借助光流与深度信息持续追踪;利用关键点几何约束,区分手上点与手外点;以及底层的调整接口。团队同时给出两个完备性证明,说明任意抓取位姿和任意 SE(3) 变换都可以由这套约束体系表达。
据称,该方法在零训练条件下与 π₀.₅ 进行了对比。相关论文编号为 arXiv:2610.14018。