Kinematify: Open-Vocabulary Synthesis of High-DoF Articulated Objects

📄 arXiv: 2511.01294v2 📥 PDF

作者: Jiawei Wang, Dingyou Wang, Jiaming Hu, Qixuan Zhang, Jingyi Yu, Lan Xu

分类: cs.RO, cs.CV

发布日期: 2025-11-03 (更新: 2025-11-04)

备注: project page: https://sites.google.com/deemos.com/kinematify

💡 一句话要点

Kinematify：开放词汇高自由度铰接物体自动合成框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 铰接物体 运动学结构 蒙特卡洛树搜索 几何驱动优化 机器人操作 物理模拟 开放词汇 高自由度

📋 核心要点

  1. 现有铰接物体建模方法依赖运动序列或人工标注数据集，难以扩展到高自由度物体。
  2. Kinematify 结合 MCTS 搜索进行结构推理，并利用几何驱动优化进行关节参数估计。
  3. 实验表明，Kinematify 在合成和真实数据上，配准和运动学拓扑精度均优于现有方法。

📝 摘要（中文）

对运动学结构和可移动部件的深刻理解对于机器人操作物体和建模自身铰接形态至关重要。这种理解通过铰接物体来捕获，这对于物理模拟、运动规划和策略学习等任务至关重要。然而，创建这些模型，特别是对于具有高自由度（DoF）的物体，仍然是一个重大挑战。现有方法通常依赖于运动序列或来自手动管理数据集的强假设，这阻碍了可扩展性。在本文中，我们介绍 Kinematify，这是一个自动框架，可以直接从任意 RGB 图像或文本描述中合成铰接物体。我们的方法解决了两个核心挑战：（i）推断高自由度物体的运动学拓扑；（ii）从静态几何体估计关节参数。为了实现这一目标，我们结合了用于结构推理的 MCTS 搜索和用于关节推理的几何驱动优化，从而产生物理上一致且功能上有效的描述。我们在来自合成和真实环境的各种输入上评估 Kinematify，证明了在配准和运动学拓扑精度方面优于现有技术。

🔬 方法详解

问题定义：现有方法在构建高自由度铰接物体模型时面临挑战，主要痛点在于依赖大量的运动序列数据或强先验假设，这限制了其可扩展性和泛化能力。特别是对于开放词汇场景，缺乏针对各种物体类型的运动数据，使得自动构建精确的铰接模型变得困难。

核心思路：Kinematify 的核心思路是将铰接物体的合成问题分解为两个子问题：运动学拓扑推断和关节参数估计。通过结合蒙特卡洛树搜索（MCTS）进行结构推理，并利用几何驱动的优化方法进行关节参数估计，从而在没有大量运动数据的情况下，从静态几何信息中推断出合理的铰接结构。

技术框架：Kinematify 的整体框架包含以下几个主要阶段：1) 输入：接收 RGB 图像或文本描述作为输入。2) 结构推理：使用 MCTS 搜索算法探索可能的运动学拓扑结构。3) 关节参数估计：利用几何驱动的优化方法，根据静态几何信息估计关节的位置、方向和运动范围。4) 模型生成：将推断出的拓扑结构和关节参数组合成完整的铰接物体模型。

关键创新：Kinematify 的关键创新在于将 MCTS 搜索应用于运动学拓扑的推断，这使得它能够在没有大量运动数据的情况下，有效地探索复杂的铰接结构空间。此外，几何驱动的优化方法能够从静态几何信息中提取有用的线索，从而更准确地估计关节参数。与现有方法相比，Kinematify 能够处理更广泛的物体类型，并且不需要大量的运动数据。

关键设计：在 MCTS 搜索中，需要定义合适的奖励函数来引导搜索过程。奖励函数的设计需要考虑结构的合理性、关节的运动范围以及与输入几何的匹配程度。在几何驱动的优化中，需要选择合适的几何特征（例如，表面法线、曲率等）来约束关节参数的估计。此外，损失函数的设计也需要考虑物理一致性，例如避免关节之间的碰撞。

📊 实验亮点

Kinematify 在合成和真实数据集上进行了评估，实验结果表明，该方法在配准精度和运动学拓扑精度方面均优于现有方法。具体而言，Kinematify 在高自由度铰接物体的建模方面取得了显著的提升，能够有效地处理复杂的铰接结构，并且对噪声和遮挡具有一定的鲁棒性。

🎯 应用场景

Kinematify 有潜力应用于机器人操作、物理模拟、游戏开发和虚拟现实等领域。它可以帮助机器人理解和操作各种铰接物体，提高机器人的自主性和适应性。在物理模拟中，它可以用于创建更逼真的铰接物体模型，从而提高模拟的准确性。在游戏开发和虚拟现实中，它可以用于创建更丰富的交互体验。

📄 摘要（原文）

A deep understanding of kinematic structures and movable components is essential for enabling robots to manipulate objects and model their own articulated forms. Such understanding is captured through articulated objects, which are essential for tasks such as physical simulation, motion planning, and policy learning. However, creating these models, particularly for objects with high degrees of freedom (DoF), remains a significant challenge. Existing methods typically rely on motion sequences or strong assumptions from hand-curated datasets, which hinders scalability. In this paper, we introduce Kinematify, an automated framework that synthesizes articulated objects directly from arbitrary RGB images or textual descriptions. Our method addresses two core challenges: (i) inferring kinematic topologies for high-DoF objects and (ii) estimating joint parameters from static geometry. To achieve this, we combine MCTS search for structural inference with geometry-driven optimization for joint reasoning, producing physically consistent and functionally valid descriptions. We evaluate Kinematify on diverse inputs from both synthetic and real-world environments, demonstrating improvements in registration and kinematic topology accuracy over prior work.