Learning to Explore Hidden Kinematics for Articulated Object Manipulation

📄 arXiv: 2609.36553v1 📥 PDF

作者: Ruiyao Liu, Boshu Lei, Zhuoyang Pan, Kostas Daniilidis

分类: cs.RO

发布日期: 2026-09-29


💡 一句话要点

提出一种新方法以解决关节物体操作中的运动学模糊问题

🎯 匹配领域: 支柱一:机器人控制 (Robot Control) 支柱二:RL算法与架构 (RL & Architecture)

关键词: 关节物体操作 主动感知 贝叶斯滤波 强化学习 运动学模糊性

📋 核心要点

  1. 现有方法在处理关节物体时,往往无法有效解决运动学模糊性,限制了操作的准确性和效率。
  2. 本文提出了一种通过训练来优化动作选择的方法,利用贝叶斯滤波和关节流场来提高对关节参数的信念更新。
  3. 实验结果显示,该方法在多个基准测试中表现优异,尤其是在处理外观暗示错误关节的物体时,成功率显著提升。

📝 摘要(中文)

关节物体的运动学信息往往仅通过视觉难以明确。交互可以解决这种模糊性,主动感知方法通过寻找能够最有效地缩小运动学参数信念的单一动作来利用这一点。然而,这种贪婪搜索无法在没有接触和惯性动态的前向模型的情况下扩展。本文提出了一种通过训练来摊销动作选择的方法,维护对关节类型和参数的信念分布,并通过贝叶斯滤波更新。我们将信念条件化为每个点的关节流场,利用强化学习训练策略,奖励每次交互所去除的后验熵。实验结果表明,该方法在PartManip基准测试中的门和抽屉操作上优于以往方法,并在ArticuRiddle数据集上取得61.7%的成功率,显著高于最佳以往方法的44.4%。

🔬 方法详解

问题定义:本文旨在解决关节物体操作中的运动学模糊性问题。现有方法依赖于视觉信息,无法有效处理不确定性,导致操作失败率高。

核心思路:论文提出通过训练来摊销动作选择,将信念分布与关节流场结合,利用贝叶斯滤波更新信念,从而提高对关节参数的理解和操作能力。

技术框架:整体架构包括信念初始化、贝叶斯更新、关节流场生成和强化学习策略训练四个主要模块。信念从生成先验初始化,随后通过观察到的部件运动进行更新。

关键创新:最重要的创新在于将信念表示为每个点的关节流场,这种表示方式比传统的潜在编码或观察跟踪方法具有更好的泛化能力。

关键设计:在训练过程中,采用强化学习策略,设计了奖励机制以鼓励去除后验熵,具体参数设置和损失函数设计未详细披露,属于未知范围。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明,本文方法在PartManip基准测试中对门和抽屉的操作成功率超过以往方法,尤其在ArticuRiddle数据集上取得61.7%的成功率,相较于最佳以往方法的44.4%有显著提升,展示了其有效性和优越性。

🎯 应用场景

该研究在机器人操作、智能家居和人机交互等领域具有广泛的应用潜力。通过提高对关节物体的操作能力,可以显著提升自动化系统的效率和可靠性,推动智能设备的普及和发展。

📄 摘要(原文)

The kinematics of an articulated object is often ambiguous from vision alone. Interaction resolves the ambiguity, and active perception methods exploit this by searching for the single action that most sharpens a belief over the kinematic parameters at each step. Such greedy search cannot be extended over a horizon without forward models of the contact and inertial dynamics, which are themselves unknown. We instead amortize action selection into training. We maintain a belief distribution over joint type and parameters, initialized from a generative prior and updated by Bayesian filtering on the observed part motion. To condition the policy on this belief, we render it as a per-point articulation flow field, the motion that the current posterior predicts for every point on the object. Carrying the inductive bias of articulated motion, this representation generalizes better than a latent encoding of the belief or flow tracked from observation. We train the policy with reinforcement learning, rewarding the entropy that each interaction removes from the posterior, so that informative exploration becomes learned behavior rather than a search at every step. Our method outperforms previous approaches across door and drawer manipulation on the PartManip benchmark, and reaches 61.7% success on ArticuRiddle, a new dataset of objects whose appearance implies the wrong articulation, against 44.4% for the best previous method. Project Website: https://hiddenkinematics.github.io/