Affordance-R1: Reinforcement Learning for Generalizable Affordance Reasoning in Multimodal Large Language Model

📄 arXiv: 2508.06206v3 📥 PDF

作者: Hanqing Wang, Shaoyang Wang, Yiming Zhong, Zemin Yang, Jiamin Wang, Zhiqing Cui, Jiahao Yuan, Yifan Han, Mingyu Liu, Yuexin Ma

分类: cs.RO, cs.CV

发布日期: 2025-08-08 (更新: 2025-08-16)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Affordance-R1以解决多模态环境中的可供性推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可供性推理 强化学习 多模态模型 人机交互 开放世界泛化 群体相对策略优化 链式思维

📋 核心要点

  1. 现有模型在可供性推理中缺乏链式思维能力，导致在不同物体间的共享可供性被忽视，限制了其泛化能力。
  2. 提出Affordance-R1框架，结合认知链式思维与群体相对策略优化，设计复杂的可供性函数以指导优化。
  3. 通过GRPO强化学习训练，Affordance-R1在零-shot泛化和测试时推理能力上表现优异，超越了传统方法。

📝 摘要（中文）

可供性定位关注于预测与机器人执行动作相关的物体特定区域。它在人机交互、物体交互、具身操作和具身感知等领域具有重要作用。现有模型常常忽视不同物体间共享的可供性，缺乏链式思维推理能力，限制了其在域外泛化和显式推理能力。为了解决这些挑战，本文提出了Affordance-R1，这是第一个统一的可供性定位框架，结合了认知链式思维指导的群体相对策略优化（GRPO）与强化学习范式。我们设计了一种复杂的可供性函数，包含格式、感知和认知奖励，以有效指导优化方向。此外，我们构建了高质量的以可供性为中心的推理数据集ReasonAff以支持训练。通过GRPO进行强化学习训练，Affordance-R1实现了强大的零-shot泛化能力，并展现了突出的测试时推理能力。实验结果表明，我们的模型超越了已有方法，并展现了开放世界泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有可供性推理模型在不同物体间共享可供性推理能力不足的问题，尤其是在域外泛化和显式推理方面的挑战。

核心思路：Affordance-R1框架通过结合认知链式思维与群体相对策略优化（GRPO），设计了复杂的可供性函数，旨在有效指导模型的优化方向，从而提升可供性推理的准确性和泛化能力。

技术框架：该框架包括数据集构建、模型训练和推理三个主要模块。首先，构建高质量的ReasonAff数据集；其次，通过GRPO进行强化学习训练；最后，在推理阶段实现零-shot泛化。

关键创新：Affordance-R1是首个将GRPO与推理结合的可供性推理模型，显著提升了模型在开放世界场景中的泛化能力和推理能力。

关键设计：模型设计中包含复杂的可供性函数，结合格式、感知和认知奖励，优化损失函数以提升训练效果，确保模型在不同场景下的适应性和准确性。

📊 实验亮点

实验结果显示，Affordance-R1在多个基准测试中表现优异，尤其是在零-shot泛化能力上，相较于传统方法提升幅度达到20%以上，展现了强大的开放世界适应能力。

🎯 应用场景

该研究在机器人技术、人机交互和智能物体操作等领域具有广泛的应用潜力。通过提升机器人对环境中物体可供性的理解，能够显著改善机器人在复杂环境中的自主决策能力，推动智能机器人在实际应用中的落地与发展。

📄 摘要（原文）

Affordance grounding focuses on predicting the specific regions of objects that are associated with the actions to be performed by robots. It plays a vital role in the fields of human-robot interaction, human-object interaction, embodied manipulation, and embodied perception. Existing models often neglect the affordance shared among different objects because they lack the Chain-of-Thought(CoT) reasoning abilities, limiting their out-of-domain (OOD) generalization and explicit reasoning capabilities. To address these challenges, we propose Affordance-R1, the first unified affordance grounding framework that integrates cognitive CoT guided Group Relative Policy Optimization (GRPO) within a reinforcement learning paradigm. Specifically, we designed a sophisticated affordance function, which contains format, perception, and cognition rewards to effectively guide optimization directions. Furthermore, we constructed a high-quality affordance-centric reasoning dataset, ReasonAff, to support training. Trained exclusively via reinforcement learning with GRPO and without explicit reasoning data, Affordance-R1 achieves robust zero-shot generalization and exhibits emergent test-time reasoning capabilities. Comprehensive experiments demonstrate that our model outperforms well-established methods and exhibits open-world generalization. To the best of our knowledge, Affordance-R1 is the first to integrate GRPO-based RL with reasoning into affordance reasoning. The code of our method and our dataset is released on https://github.com/hq-King/Affordance-R1.