Weakly-Supervised Affordance Grounding Guided by Part-Level Semantic Priors
作者: Peiran Xu, Yadong Mu
分类: cs.CV
发布日期: 2025-05-30
备注: ICLR 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于部件级语义先验的弱监督可供性区域定位方法，显著提升性能。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 弱监督学习 可供性区域定位 部件分割 语义先验 伪标签 机器人操作 人机交互
📋 核心要点
- 现有弱监督可供性区域定位方法依赖类激活图，难以准确捕捉动作和功能相关的区域。
- 利用部件分割模型生成伪标签，并结合标签细化、特征对齐和轻量级推理模块，提升可供性学习。
- 实验结果表明，该方法在弱监督可供性区域定位任务上取得了显著的性能提升，超越了现有技术。
📝 摘要（中文）
本文关注弱监督可供性区域定位任务，即在没有密集标签的情况下，利用人-物交互图像和以自我为中心的物体图像训练模型，以识别物体上的可供性区域。现有方法主要基于类激活图，虽然在语义分割上有效，但可能不适合定位动作和功能。本文利用最新的先进基础模型，开发了一个基于伪标签的监督训练流程。伪标签由现成的部件分割模型生成，并由可供性到部件名称的映射指导。此外，本文对基线模型进行了三项关键改进：标签细化阶段、细粒度特征对齐过程和一个轻量级推理模块。这些技术利用嵌入在现成基础模型中的静态物体的语义知识来改进可供性学习，有效地弥合了物体和动作之间的差距。大量实验表明，所提出模型的性能比现有方法取得了突破性进展。代码已开源。
🔬 方法详解
问题定义：弱监督可供性区域定位旨在仅利用图像级别的标签（例如，人与物体的交互图像）来训练模型，使其能够识别物体上与特定动作或功能相关的区域（即可供性区域）。现有方法，如基于类激活图的方法，虽然在语义分割任务中表现良好，但难以准确地定位与动作和功能相关的区域，因为可供性区域通常与物体的特定部件相关联，而不是整个物体。
核心思路：本文的核心思路是利用物体部件的语义信息作为先验知识来指导可供性区域的定位。通过将可供性与物体部件建立映射关系，并利用现成的部件分割模型生成伪标签，从而将弱监督学习问题转化为一个监督学习问题。此外，通过标签细化、特征对齐和轻量级推理模块，进一步提升模型对可供性区域的识别能力。
技术框架：整体框架包括以下几个主要阶段：1) 伪标签生成：利用现成的部件分割模型对图像进行分割，并根据可供性到部件名称的映射关系生成伪标签。2) 监督训练：使用生成的伪标签训练一个基线模型，该模型可以是任何常用的图像分割模型。3) 标签细化：对生成的伪标签进行细化，以减少噪声和提高准确性。4) 特征对齐：将图像特征与部件特征进行对齐，以更好地利用部件的语义信息。5) 轻量级推理：使用一个轻量级的推理模块来预测可供性区域。
关键创新：本文最重要的技术创新点在于利用部件级别的语义先验知识来指导弱监督可供性区域定位。与现有方法相比，本文的方法能够更准确地定位与动作和功能相关的区域，并且能够更好地利用现成的基础模型。此外，标签细化、特征对齐和轻量级推理模块也为模型的性能提升做出了贡献。
关键设计：1) 可供性到部件名称的映射：需要人工定义一个可供性到部件名称的映射关系，例如，“抓握”可供性可能与“把手”或“边缘”等部件相关联。2) 标签细化：可以使用各种图像处理技术来细化伪标签，例如，形态学操作、条件随机场等。3) 特征对齐：可以使用各种特征对齐方法，例如，对比学习、注意力机制等。4) 损失函数：可以使用交叉熵损失函数或Dice损失函数来训练模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在弱监督可供性区域定位任务上取得了显著的性能提升。具体来说，该方法在某个数据集上取得了X%的mIoU（平均交并比），相比于现有最佳方法提升了Y%。这些结果表明，利用部件级别的语义先验知识能够有效地提高弱监督可供性区域定位的准确性。
🎯 应用场景
该研究成果可应用于机器人操作、人机交互、虚拟现实等领域。例如，机器人可以利用可供性信息来更好地理解环境，并执行各种任务，如抓取物体、打开门等。在人机交互中，可供性信息可以帮助系统更好地理解用户的意图，并提供更自然、更直观的交互方式。在虚拟现实中，可供性信息可以增强虚拟环境的真实感和交互性。
📄 摘要（原文）
In this work, we focus on the task of weakly supervised affordance grounding, where a model is trained to identify affordance regions on objects using human-object interaction images and egocentric object images without dense labels. Previous works are mostly built upon class activation maps, which are effective for semantic segmentation but may not be suitable for locating actions and functions. Leveraging recent advanced foundation models, we develop a supervised training pipeline based on pseudo labels. The pseudo labels are generated from an off-the-shelf part segmentation model, guided by a mapping from affordance to part names. Furthermore, we introduce three key enhancements to the baseline model: a label refining stage, a fine-grained feature alignment process, and a lightweight reasoning module. These techniques harness the semantic knowledge of static objects embedded in off-the-shelf foundation models to improve affordance learning, effectively bridging the gap between objects and actions. Extensive experiments demonstrate that the performance of the proposed model has achieved a breakthrough improvement over existing methods. Our codes are available at https://github.com/woyut/WSAG-PLSP .