KiRoSe: Using Kinematic Data for Efficient Segmentation of Robot Demonstrations
作者: Shuangyu Xie, Kaiyuan Chen, Muhammad Zubair Irshad, Richard Cheng, Sergey Zakharov, Ken Goldberg
分类: cs.RO
发布日期: 2026-10-22
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出KiRoSe框架以高效分割机器人演示数据
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人演示 运动学数据 自动分割 稀疏运动标记 多模态学习 任务分析
📋 核心要点
- 现有的机器人演示数据分割方法多依赖人工，效率低且易出错，难以满足实际应用需求。
- KiRoSe框架通过引入运动学数据和稀疏运动标记（SMTs），实现了对运动模式的紧凑表示，自动化分割过程。
- 实验表明，KiRoSe在F1质量上显著优于传统方法，并能在未见的机器人和人类动作中实现零样本迁移。
📝 摘要（中文）
在机器人演示数据中，将其分割为不重叠的时间和语义子段对于学习、清理、检索和分析具有重要价值。传统的分割方法往往依赖人工，过程繁琐且容易出错。本文提出了KiRoSe（基于运动学的机器人分割），一个新颖的框架，专注于机器人的运动学数据流。我们引入了稀疏运动标记（SMTs），旨在紧凑地表示重复出现的运动模式。通过对运动轨迹进行编码和量化，SMTs能够有效地学习运动事件。实验结果表明，KiRoSe在F1质量上显著优于基线分割方法，并能够在未见的机器人和人类动作中实现零样本迁移，同时保持语言模型的开放词汇知识。
🔬 方法详解
问题定义：本文旨在解决机器人演示数据的自动分割问题，现有方法多依赖人工分割，效率低且容易出错，无法满足大规模应用的需求。
核心思路：KiRoSe框架的核心思想是利用运动学数据流，通过引入稀疏运动标记（SMTs）来紧凑地表示重复的运动模式，从而实现高效的自动分割。
技术框架：该框架包括运动学数据的编码、量化和基于开放语言模型的监督学习三个主要模块。首先，运动学轨迹被编码为SMTs，然后通过量化过程生成离散的运动学词汇，最后利用语言模型解释生成的标记序列。
关键创新：最重要的技术创新在于引入了稀疏运动标记（SMTs），这种方法通过紧凑表示运动事件，显著提高了分割的效率和准确性，区别于传统的基于视频流的分割方法。
关键设计：在技术细节上，SMTs的学习过程采用了时间段监督，损失函数设计旨在优化运动模式的表示，网络结构则基于现有的开放语言模型进行调整，以适应运动学数据的特性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，KiRoSe在F1质量上显著优于基线方法，具体提升幅度达到XX%，并且在未见的机器人和人类动作中实现了零样本迁移，展示了其强大的泛化能力和实用性。
🎯 应用场景
KiRoSe框架在机器人学习、任务分析和人机交互等领域具有广泛的应用潜力。通过自动化分割机器人演示数据，能够提高机器人学习的效率，减少人工干预，促进智能机器人在复杂环境中的自主操作能力。
📄 摘要（原文）
Segmenting robot demonstration data into disjoint temporal and semantic subsegments is valuable for learning, cleaning, retrieval, and analysis. Segmentation is often performed manually in a tedious and error prone process. Multimodal Large Language Models (MLLMs) have the potential for automating this process, but directly ingesting raw multi camera video streams into MLLMs can be costly and can quickly exhaust context windows. In this paper, we introduce KiRoSe (Kinematics for Robot Segmentation), a novel framework that focuses on the companion stream of robot kinematic data. Inspired by the principle of classical entropy coding, such as Huffman coding, where frequently occurring symbols are represented more compactly, we propose Sparse Motion Tokens (SMTs), a discrete kinematic vocabulary designed to compactly represent recurring, temporally localized motion patterns, which we refer to as kinematic events. SMTs are learned by encoding kinematic trajectories with temporal segment supervision and quantizing the resulting features. We use increasingly available robot demonstration subtask annotations to supervise an open language model to interpret the resulting token sequences. Evaluation against human labeled segmentation shows that KiRoSe can substantially outperform baseline segmentation methods in F1 quality and transfers zero shot to unseen robot embodiments and egocentric human motion, while preserving the language models open vocabulary knowledge. Beyond segmentation, KiRoSe tracks task progress on an unseen robot and detects when an action is being reversed.(website: https://berkeleyautomation.github.io/kirose/)