Query-Conditioned Articulation Estimation from a Single Image
作者: Abdelrhman Werby, Fabio Scaparro, Kai O. Arras
分类: cs.RO
发布日期: 2026-10-01 (更新: 2026-10-02)
备注: Code and video are available at https://abwerby.github.io/queryart/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出QueryArt以解决单图像关节参数估计问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 关节估计 单图像处理 机器人操控 深度学习 计算机视觉
📋 核心要点
- 现有的单图像关节估计方法容易受到漏检和错误部件关联的影响，导致预测不准确。
- 本文提出QueryArt模型，通过单张RGB图像和二维查询点来估计关节参数，克服了现有方法的不足。
- QueryArt在多个基准测试中表现优异，尤其是在分布外数据上，成功率达到70.2%。
📝 摘要（中文）
使机器人能够从单张RGB图像中估计关节物体的运动学参数，开启了与物体交互和操控的广泛能力。现有方法将关节部分分割与关节估计结合，导致预测易受漏检和错误部件关联的影响，并且回归的三维几何仅在比例上可由单视图确定。本文提出QueryArt模型，从单张RGB图像、二维查询点和相机内参中估计关节参数。QueryArt相对于查询点估计三维关节几何，并通过深度单位保持目标可识别。通过单个深度测量，恢复度量参数。我们在合成与真实世界的关节数据集上训练QueryArt，并在多个基准上评估其性能，结果显示其在大多数关节指标上超越了近期基线，尤其是在分布外数据上。我们在移动操控器上进行了57次操作试验，成功率达到70.2%。
🔬 方法详解
问题定义：本文旨在解决从单张RGB图像中准确估计关节物体的运动学参数的问题。现有方法在关节部分分割与估计的结合上存在不足，易受漏检和错误关联的影响，且三维几何的回归仅在比例上由单视图确定。
核心思路：QueryArt模型的核心思路是通过结合二维查询点和相机内参，从单张RGB图像中直接估计关节参数。该方法通过相对于查询点的三维关节几何估计，确保目标在图像中可识别。
技术框架：QueryArt的整体架构包括输入RGB图像、二维查询点和相机内参，经过网络处理后输出关节参数。模型训练使用合成与真实数据集的混合，确保其在多种场景下的适应性。
关键创新：QueryArt的主要创新在于其通过单个深度测量来恢复度量参数，解决了传统方法在尺度上的限制。这一设计使得模型在处理未知物体时更加鲁棒。
关键设计：模型的损失函数设计考虑了关节几何的准确性和深度信息的有效利用，网络结构采用了适合处理图像和空间信息的卷积神经网络，确保了高效的特征提取与估计。
🖼️ 关键图片
📊 实验亮点
QueryArt在多个基准测试中表现优异，尤其是在关节指标上超越了近期基线，尤其是在分布外数据上。通过57次操作试验，模型在移动操控器上的成功率达到了70.2%，显示出其在实际应用中的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在机器人操控、自动化装配和人机交互等领域。通过准确估计关节参数，机器人能够更好地理解和操作复杂物体，提升其在实际环境中的适应能力和效率。未来，该技术可能推动智能机器人在家庭、工业和服务领域的广泛应用。
📄 摘要（原文）
Enabling robots to estimate the kinematic parameters of articulated objects unlocks a wide range of capabilities for interaction and manipulation. The estimation has to happen from the information the robot currently observes, often just a single RGB image of an object it has never seen before. Current single-image approaches couple articulation part segmentation with articulation estimation, making their predictions vulnerable to missed detections and incorrect part associations, and they regress metric 3D geometry that a single view fixes only up to scale. We present QueryArt, a model that estimates articulation parameters from a single RGB image, a 2D query point, and camera intrinsics. QueryArt is trained to estimate the 3D articulation geometry relative to the queried point and in units of its depth, which keeps its target identifiable from the image alone. A single depth measurement at the query point then supplies the scale and recovers the metric parameters. We train QueryArt on a curated mixture of synthetic and real-world articulation datasets. We evaluate QueryArt on several benchmarks and compare it against recent baselines. QueryArt outperforms recent baselines on most articulation metrics, including on out-of-distribution data. To demonstrate the model's capabilities in real-world settings, we evaluate QueryArt on a mobile manipulator across 57 manipulation trials spanning 16 object parts and five viewpoint classes, achieving a 70.2% success rate. We provide code and videos at: https://abwerby.github.io/queryart/