Query-Conditioned Articulation Estimation from a Single Image
作者: Abdelrhman Werby, Fabio Scaparro, Kai O. Arra
分类: cs.RO
发布日期: 2026-10-01
备注: Code and video are available at https://abwerby.github.io/queryart/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出QueryArt以解决单图像关节参数估计问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 关节参数估计 单图像处理 机器人操作 深度学习 计算机视觉
📋 核心要点
- 现有单图像方法将关节分割与估计结合，易受漏检和错误关联影响，且3D几何回归受限于单视图尺度。
- QueryArt模型通过2D查询点和相机内参，从单张RGB图像中估计关节参数，保持目标可识别性。
- QueryArt在多个基准测试中超越了近期基线，尤其在57次操作试验中实现70.2%的成功率。
📝 摘要（中文）
使机器人能够从单张RGB图像中估计关节物体的运动学参数，解锁了广泛的交互和操作能力。现有方法将关节部分分割与关节估计结合，导致预测易受漏检和错误部分关联的影响，并且回归的3D几何仅在尺度上受到单视图的限制。本文提出的QueryArt模型通过2D查询点和相机内参，从单张RGB图像中估计关节参数，保持目标可识别性，并通过查询点的深度测量恢复度量参数。QueryArt在合成和真实世界的数据集上进行训练，并在多个基准测试中表现优异，尤其在57次操作试验中取得70.2%的成功率。
🔬 方法详解
问题定义：本文旨在解决从单张RGB图像中准确估计关节物体的运动学参数的问题。现有方法在关节部分分割与估计的结合上存在不足，导致预测易受漏检和错误关联的影响，同时3D几何的回归仅在尺度上受到限制。
核心思路：QueryArt模型的核心思路是通过引入2D查询点和相机内参，从单张RGB图像中估计关节参数。该设计使得目标在图像中可识别，并通过查询点的深度测量来恢复度量参数。
技术框架：QueryArt的整体架构包括输入单张RGB图像、2D查询点和相机内参，模型通过训练来估计相对于查询点的3D关节几何。主要模块包括特征提取、关节参数估计和尺度恢复。
关键创新：QueryArt的主要创新在于其能够在仅依赖单张图像的情况下，结合查询点的深度信息来准确估计关节参数。这一方法与现有方法的本质区别在于不再依赖于完整的关节部分分割。
关键设计：在模型设计中，QueryArt采用了特定的损失函数来优化关节参数的估计，同时在网络结构上进行了调整，以适应不同的输入数据类型。
🖼️ 关键图片
📊 实验亮点
QueryArt在多个基准测试中表现优异，尤其在与近期基线的比较中，超越了大多数关节度量。在57次操作试验中，成功率达到70.2%，显示出其在真实世界应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、智能制造和人机交互等。通过准确估计关节参数，机器人能够更好地与未知物体进行交互，提升操作的灵活性和效率。未来，该技术可能推动更复杂的机器人任务和自主操作能力的发展。
📄 摘要（原文）
Enabling robots to estimate the kinematic parameters of articulated objects unlocks a wide range of capabilities for interaction and manipulation. The estimation has to happen from the information the robot currently observes, often just a single RGB image of an object it has never seen before. Current single-image approaches couple articulation part segmentation with articulation estimation, making their predictions vulnerable to missed detections and incorrect part associations, and they regress metric 3D geometry that a single view fixes only up to scale. We present QueryArt, a model that estimates articulation parameters from a single RGB image, a 2D query point, and camera intrinsics. QueryArt is trained to estimate the 3D articulation geometry relative to the queried point and in units of its depth, which keeps its target identifiable from the image alone. A single depth measurement at the query point then supplies the scale and recovers the metric parameters. We train QueryArt on a curated mixture of synthetic and real-world articulation datasets. We evaluate QueryArt on several benchmarks and compare it against recent baselines. QueryArt outperforms recent baselines on most articulation metrics, including on out-of-distribution data. To demonstrate the model's capabilities in real-world settings, we evaluate QueryArt on a mobile manipulator across 57 manipulation trials spanning 16 object parts and five viewpoint classes, achieving a 70.2% success rate. We provide code and videos at: https://abwerby.github.io/queryart/