Extending Affordance Segmentation for Wearable Robots to Multi-Object Images

📄 arXiv: 2610.29474v1 📥 PDF

作者: Simone Lugani, Matteo Montani, Paolo Gastaldo, Rodolfo Zunino, Edoardo Ragusa

分类: cs.CV, cs.RO

发布日期: 2026-10-21

期刊: Proceedings of IEEE COINS 2026, IEEE, 2026

DOI: 10.1109/COINS69995.2026.11715600

💡 一句话要点

提出一种改进方法以解决多物体场景下的抓取识别问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 可穿戴机器人 抓取识别 深度学习 多物体消歧 混合现实 视觉识别 上肢假肢

📋 核心要点

  1. 现有的视觉识别管道在多物体场景下的抓取选择和预成型方面存在准确性不足的问题。
  2. 论文提出通过引入激光指示器和定制训练方法来改进现有的识别管道，以增强物体消歧能力。
  3. 实验结果显示，所提方法在目标消歧准确性上提高了最多9%，且计算成本未显著增加。

📝 摘要（中文）

本文提出了一种对现有基于视觉的可穿戴机器人抓取物体部件识别管道的改进。尽管现有方法在单一物体场景中表现良好，但在多物体环境中仍面临挑战。为此，研究者引入了激光指示器作为物体消歧的有效机制，并对支持抓取部件识别的深度卷积神经网络进行了重新训练。此外，混合现实策略被应用于利用现有高质量分割掩膜生成逼真的图像，从而扩展最终设备支持的场景范围。实验结果表明，所提管道在目标消歧准确性上比现有解决方案提高了最多9%，同时保持了计算成本。

🔬 方法详解

问题定义：本文旨在解决现有基于视觉的抓取物体识别管道在多物体场景中的准确性不足问题。现有方法在复杂环境中容易出现物体混淆，导致抓取选择不准确。

核心思路：论文的核心思路是通过引入激光指示器来辅助物体消歧，并对深度卷积神经网络进行重新训练，以提高多物体场景下的识别能力。这样的设计可以有效减少物体间的干扰，提高识别的准确性。

技术框架：整体架构包括激光指示器的硬件设置、深度卷积神经网络的训练模块以及混合现实策略的应用。激光指示器用于明确目标物体，训练模块则通过高质量的分割掩膜进行优化，混合现实策略则用于生成多样化的训练数据。

关键创新：最重要的技术创新在于激光指示器的引入和混合现实策略的应用。这一创新使得系统能够在多物体环境中有效消歧，显著提升了识别准确性，与传统方法相比具有本质的区别。

关键设计：在参数设置上，网络结构采用了改进的深度卷积神经网络，损失函数则针对多物体识别进行了优化。此外，训练过程中使用了高质量的分割掩膜，以确保模型的泛化能力和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提管道在目标消歧准确性上比现有解决方案提高了最多9%。这一提升在保持计算成本不变的情况下，展示了方法的有效性和实用性，为多物体抓取识别提供了新的解决方案。

🎯 应用场景

该研究的潜在应用领域包括上肢假肢的自动抓取选择和预成型，尤其是在复杂环境中，如家庭和工业场景。通过提高多物体场景下的抓取识别能力，能够显著提升假肢的实用性和用户体验，未来可能对可穿戴机器人技术的发展产生深远影响。

📄 摘要（原文）

This paper proposes a refinement to existing vision-based portable pipelines for the recognition of graspable object parts. Such pipelines can effectively support automatic grasp selection and preshaping in upper-limb prosthetic devices. However, realistic scenarios in which multiple objects are present still represent a challenge. The proposed method exploits a minor modification to the conventional hardware setup and a custom training approach to extend the applicability of vision-based pipelines. A laser pointer is introduced in the setup as an effective mechanism for object disambiguation. Accordingly, a suitable retraining of the deep convolutional neural networks supporting recognition of graspable parts is implemented. A mixed reality strategy allows the reuse of available high-quality segmentation masks to generate realistic images procedurally, extending the range of scenarios supported by the final device. Experimental results confirm that the proposed pipeline improves target disambiguation accuracy by up to 9% compared with existing solutions, while preserving the computational cost.