On the capabilities of LLMs for classifying and segmenting time series of fruit picking motions into primitive actions

📄 arXiv: 2507.07745v1 📥 PDF

作者: Eleni Konstantinidou, Nikolaos Kounalakis, Nikolaos Efstathopoulos, Dimitrios Papageorgiou

分类: cs.RO

发布日期: 2025-07-10

备注: This paper is a Late Breaking Results report and it will be presented through a poster at the 34th IEEE International Conference on Robot and Human Interactive Communication (ROMAN), 2025 at Eindhoven, the Netherlands

💡 一句话要点

利用大型语言模型对水果采摘动作时序数据进行基元动作分类与分割

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 示教学习 机器人动作分割 基元动作 水果采摘机器人

📋 核心要点

  1. 传统示教学习中，复杂动作分割为基元动作是关键，但现有方法在实际部署中存在局限性。
  2. 本研究探索利用大型语言模型（LLMs）进行水果采摘动作时序数据的基元动作分类与分割。
  3. 通过微调LLMs，期望实现一种易于应用和部署的、无需复杂监督学习或分析方法的解决方案。

📝 摘要（中文）

大型语言模型（LLMs）的出现对人类社会产生了显著影响，尤其是在解决认知挑战方面。从优化语言交流到辅助决策，LLMs（如ChatGPT）通过逐步承担越来越多的认知活动，显著降低了我们的认知负荷。在示教学习（LbD）的背景下，将复杂动作分类和分割成诸如推、拉、扭转等基元动作，是编码任务的关键步骤。本文研究了LLMs在执行此任务方面的能力，考虑了水果采摘操作中预定义的有限基元动作集合。通过使用LLMs代替简单的监督学习或分析方法，旨在使该方法易于应用和部署到实际场景中。研究调查了三种不同的微调方法，并在使用UR10e机器人进行水果采摘场景中，通过动觉方式捕获的数据集上进行了比较。

🔬 方法详解

问题定义：论文旨在解决水果采摘机器人示教学习中的一个关键问题：如何将机器人执行的复杂采摘动作序列分解为一系列预定义的基元动作（例如，推、拉、扭转等）。现有方法，如传统的监督学习或基于规则的分析方法，通常需要大量标注数据或人工设计的特征，泛化能力较弱，难以适应真实场景中复杂多变的动作。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的语言理解和泛化能力，将动作序列的分类和分割问题转化为一个序列标注或文本生成问题。通过将机器人运动数据（例如，关节角度、末端执行器位置等）转化为LLM可以理解的文本描述，然后利用LLM预测每个时间步对应的基元动作标签。

技术框架：整体框架包含以下几个主要阶段：1) 数据采集：使用UR10e机器人进行水果采摘操作，通过动觉方式记录机器人的运动数据。2) 数据预处理：将原始运动数据进行清洗、平滑和归一化处理。3) 特征提取：从预处理后的数据中提取关键特征，例如关节角度、末端执行器位置和速度等。4) 文本编码：将提取的特征转化为LLM可以理解的文本描述，例如使用自然语言描述机器人的运动状态。5) LLM微调：使用标注好的数据对LLM进行微调，使其能够预测每个时间步对应的基元动作标签。6) 动作分割：根据LLM的预测结果，将连续的动作序列分割成不同的基元动作。

关键创新：最重要的技术创新点在于将大型语言模型应用于机器人动作分割任务。与传统的监督学习方法相比，LLM具有更强的泛化能力和鲁棒性，可以更好地适应真实场景中复杂多变的动作。此外，通过将动作分割问题转化为文本生成问题，可以充分利用LLM强大的语言理解能力，提高分割的准确性和效率。

关键设计：论文研究了三种不同的LLM微调方法，具体细节未知。关键设计可能包括：1) 如何将机器人运动数据有效地转化为LLM可以理解的文本描述；2) 如何设计合适的损失函数来优化LLM的性能；3) 如何选择合适的LLM架构和参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文调查了三种不同的LLM微调方法，并在使用UR10e机器人进行水果采摘场景中，通过动觉方式捕获的数据集上进行了比较。具体的性能数据、对比基线、提升幅度等信息未知，但研究表明LLMs在机器人动作分割任务中具有潜力。

🎯 应用场景

该研究成果可应用于水果采摘机器人、工业机器人等领域，实现更智能、更灵活的机器人控制。通过示教学习，机器人可以快速学习新的任务，降低开发成本和时间。此外，该方法还可以扩展到其他需要进行动作分割的任务中，例如医疗手术机器人、康复机器人等。

📄 摘要（原文）

Despite their recent introduction to human society, Large Language Models (LLMs) have significantly affected the way we tackle mental challenges in our everyday lives. From optimizing our linguistic communication to assisting us in making important decisions, LLMs, such as ChatGPT, are notably reducing our cognitive load by gradually taking on an increasing share of our mental activities. In the context of Learning by Demonstration (LbD), classifying and segmenting complex motions into primitive actions, such as pushing, pulling, twisting etc, is considered to be a key-step towards encoding a task. In this work, we investigate the capabilities of LLMs to undertake this task, considering a finite set of predefined primitive actions found in fruit picking operations. By utilizing LLMs instead of simple supervised learning or analytic methods, we aim at making the method easily applicable and deployable in a real-life scenario. Three different fine-tuning approaches are investigated, compared on datasets captured kinesthetically, using a UR10e robot, during a fruit-picking scenario.