STEP：面向人机协作的状态感知任务估计与规划方法

工业环境中的人机协作要求机器人理解人类意图并辅助任务规划。近期研究尝试利用多模态大语言模型模型AI 模型的简称，指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令，输出动作。◆ 小白科普 · 现身（MM-LLMs）在数据稀缺场景下进行任务规划，通过上下文学习解读用户动作并生成自然语言的长时序动作计划。然而，MM-LLMs缺乏对系统状态的理解和状态转移的跟踪，常产生偏离目标的行为幻觉，且自然语言计划过于高层，导致执行模糊。为此，研究者提出状态感知任务估计与规划（STEP）方法，提示MM-LLM显式估计系统状态并预测动作执行后的状态转移，通过同时预测未来状态和动作，确保任务收敛，并提供执行动作所需的额外辅助参数。研究在模拟环境中以机器人装配任务进行评估，该方法在动作可执行性上比现有最优方法提升32.8%，在最终状态误差上降低14.8%。