KAI: A Kinematic-Aware Interface for Data-Efficient Articulated Object Manipulation

📄 arXiv: 2607.24493v1 📥 PDF

作者: Yaping Li, Zhaxizhuoma, Qiaojun Yu, Jia Zeng, Dahua Lin, Jiangmiao Pang

分类: cs.RO

发布日期: 2026-07-27

备注: Project page: https://li-yaping.github.io/KAI/

💡 一句话要点

提出KAI以解决关节物体操作中的数据效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 关节物体操作 运动学结构 样本效率 策略学习 数据稀缺 机器人技术 视觉干扰

📋 核心要点

  1. 现有方法在关节物体操作中难以有效学习运动学结构，导致数据效率低下。
  2. KAI通过引入运动学结构的中间表示，嵌入几何和运动学先验，提高策略学习的样本效率。
  3. 在六个仿真任务中，KAI的平均成功率达到82.9%，在低数据环境下显著优于基线方法。

📝 摘要（中文）

关节物体的操作需要理解其运动学结构，而仅依靠机器人演示学习这一点既困难又昂贵。本文提出了运动学感知关节接口（KAI），一种结构化的中间表示，能够捕捉关节物体的运动学结构。通过将可解释的几何和运动学先验嵌入策略学习中，KAI提供了与关节运动的基础结构相一致的强归纳偏置。这一设计显著提高了样本效率，尤其在低数据环境下表现突出：在六个仿真任务中，我们的方法平均成功率达到82.9%，在使用仅一半演示数据的情况下，性能与基线相当或更优。我们的算法在未见背景和视觉干扰下也展现出强大的泛化能力，能够从单一干净训练环境转移到杂乱的真实场景中。KAI的无动作依赖设计进一步支持与人类互动视频的共同训练，以增强真实世界的鲁棒性：在多样的视觉干扰下，视频共同训练的方法平均成功率超过70%。

🔬 方法详解

问题定义：本文旨在解决关节物体操作中对运动学结构理解的不足，现有方法在仅依赖机器人演示学习时，往往面临数据效率低下的问题。

核心思路：KAI通过构建运动学感知的中间表示，嵌入几何和运动学先验，提供了与关节运动结构一致的归纳偏置，从而提高样本效率。

技术框架：KAI的整体架构包括运动学结构的表示模块、策略学习模块和数据增强模块。通过这些模块的协同工作，KAI能够在低数据环境中有效学习。

关键创新：KAI的主要创新在于其运动学感知的设计，使得策略学习能够更好地利用运动学结构的先验信息，这与传统方法依赖大量数据的方式有本质区别。

关键设计：在具体实现中，KAI采用了特定的损失函数来优化策略学习，并设计了适应性强的网络结构，以便在不同的环境中保持良好的性能。通过无动作依赖的设计，KAI还能够与人类互动视频进行共同训练，进一步提升鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个仿真任务中，KAI方法的平均成功率达到82.9%，在使用仅一半演示数据的情况下，性能与基线相当或更优。此外，KAI在多样的视觉干扰下，通过视频共同训练，成功率超过70%，展现出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、自动化装配和虚拟现实等场景。通过提高关节物体操作的样本效率，KAI能够在数据稀缺的情况下实现更高效的学习，具有重要的实际价值和广泛的应用前景。未来，KAI可能在复杂环境中的机器人操作中发挥更大作用。

📄 摘要（原文）

Articulated object manipulation requires an understanding of kinematic structure that is difficult and costly to learn from robot demonstrations alone. We introduce the Kinematic-Aware Articulation Interface (KAI), a structured intermediate representation that captures the kinematic structure of articulated objects. By embedding interpretable geometric and kinematic priors into policy learning, KAI provides a strong inductive bias aligned with the underlying structure of articulated motion. This design effectively improves sample efficiency, with gains particularly pronounced in low-data regimes: across six simulation tasks, our method achieves an average success rate of 82.9%, matching or surpassing baseline performance while using only half the demonstration data. Our method also exhibits robust generalization to unseen backgrounds and visual distractors, transferring from a single clean training environment to cluttered real-world scenes. KAI's action-agnostic design further enables co-training with human interaction videos to enhance real-world robustness: under diverse visual distractions, our method with video co-training achieves over 70% average success rate.