Weakly-Supervised Affordance Grounding Guided by Part-Level Semantic Priors

📄 arXiv: 2505.24103v1 📥 PDF

作者: Peiran Xu, Yadong Mu

分类: cs.CV

发布日期: 2025-05-30

备注: ICLR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出弱监督的可供性定位方法以解决标签稀缺问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱监督学习 可供性定位 伪标签 部件分割 特征对齐 人机交互 智能机器人

📋 核心要点

  1. 现有方法多依赖类激活图，适合语义分割但难以准确定位动作和功能，面临标签稀缺的挑战。
  2. 本研究提出基于伪标签的监督训练流程，结合部件分割模型与可供性映射，提升可供性定位效果。
  3. 实验结果显示，所提模型在多项指标上显著优于现有方法，验证了其有效性与创新性。

📝 摘要（中文）

本研究聚焦于弱监督可供性定位任务，旨在利用人机交互图像和自我中心物体图像识别物体的可供性区域，而无需密集标签。以往方法主要基于类激活图，适用于语义分割，但不适合定位动作和功能。我们利用先进的基础模型，开发了一种基于伪标签的监督训练流程，伪标签由现成的部件分割模型生成，并通过可供性与部件名称的映射进行指导。此外，我们引入了三个关键增强技术：标签精炼阶段、细粒度特征对齐过程和轻量推理模块。这些技术利用现成基础模型中静态物体的语义知识，提升可供性学习，成功弥合物体与动作之间的差距。大量实验表明，所提模型在性能上显著超越现有方法。

🔬 方法详解

问题定义：本论文旨在解决弱监督可供性定位问题，现有方法在定位动作和功能方面存在不足，且缺乏密集标签支持。

核心思路：通过利用现成的部件分割模型生成伪标签，并结合可供性与部件名称的映射，构建了一种新的监督训练流程，以提高模型对可供性区域的识别能力。

技术框架：整体架构包括伪标签生成、标签精炼、细粒度特征对齐和轻量推理模块。伪标签生成阶段利用部件分割模型，后续通过精炼和对齐提升标签质量和特征一致性。

关键创新：引入了标签精炼和细粒度特征对齐等新技术，显著提升了模型的可供性学习能力，弥补了传统方法的不足。

关键设计：在模型设计中，采用了特定的损失函数以优化伪标签的准确性，并通过轻量推理模块减少计算复杂度，确保模型在实际应用中的高效性。

📊 实验亮点

实验结果表明，所提模型在多个基准数据集上取得了显著的性能提升，相较于现有方法，准确率提高了XX%，有效验证了模型的创新性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、智能家居和人机交互等场景。通过提高可供性定位的准确性，能够增强机器人与环境的互动能力，推动智能系统的智能化发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this work, we focus on the task of weakly supervised affordance grounding, where a model is trained to identify affordance regions on objects using human-object interaction images and egocentric object images without dense labels. Previous works are mostly built upon class activation maps, which are effective for semantic segmentation but may not be suitable for locating actions and functions. Leveraging recent advanced foundation models, we develop a supervised training pipeline based on pseudo labels. The pseudo labels are generated from an off-the-shelf part segmentation model, guided by a mapping from affordance to part names. Furthermore, we introduce three key enhancements to the baseline model: a label refining stage, a fine-grained feature alignment process, and a lightweight reasoning module. These techniques harness the semantic knowledge of static objects embedded in off-the-shelf foundation models to improve affordance learning, effectively bridging the gap between objects and actions. Extensive experiments demonstrate that the performance of the proposed model has achieved a breakthrough improvement over existing methods. Our codes are available at https://github.com/woyut/WSAG-PLSP .