3D-AffordanceLLM: Harnessing Large Language Models for Open-Vocabulary Affordance Detection in 3D Worlds

📄 arXiv: 2502.20041v3 📥 PDF

作者: Hengshuo Chu, Xiang Deng, Qi Lv, Xiaoyang Chen, Yinchuan Li, Jianye Hao, Liqiang Nie

分类: cs.CV, cs.RO

发布日期: 2025-02-27 (更新: 2025-03-04)

备注: ICLR

💡 一句话要点

提出3D-AffordanceLLM以解决开放词汇的3D环境中可供性检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D可供性检测 大型语言模型 开放词汇 指令推理 语义分割 机器人感知 多阶段训练

📋 核心要点

  1. 现有的3D可供性检测方法依赖于固定的标签，缺乏对复杂自然语言的理解，导致泛化能力不足。
  2. 本文提出将可供性检测重新定义为IRAS任务，利用大型语言模型进行推理，避免了固定类别的限制。
  3. 实验结果表明，3D-ADLLM在开放词汇可供性检测任务上实现了约8%的mIoU提升，显示出其有效性。

📝 摘要（中文）

3D可供性检测是一个具有广泛应用的挑战性问题，现有方法通常将其视为基于标签的语义分割任务，依赖于预定义标签，缺乏对复杂自然语言的理解能力，导致在开放世界场景中的泛化能力有限。为了解决这些局限性，本文将传统的可供性检测范式重新构建为指令推理可供性分割（IRAS）任务，旨在根据查询推理文本输出可供性掩码区域，从而避免固定类别的输入标签。我们提出了3D-AffordanceLLM（3D-ADLLM），该框架结合了大型语言模型（LLMs）进行3D可供性感知，并通过定制解码器生成可供性掩码，实现开放世界推理可供性检测。通过多阶段训练策略，3D-ADLLM在开放词汇可供性检测任务上实现了约8%的mIoU提升。

🔬 方法详解

问题定义：本文旨在解决现有3D可供性检测方法依赖固定标签的问题，这限制了其在开放世界场景中的应用和泛化能力。

核心思路：我们提出将可供性检测任务重新定义为IRAS任务，通过查询推理文本生成可供性掩码，利用大型语言模型的推理能力来增强模型的灵活性和适应性。

技术框架：3D-ADLLM框架包括多个阶段，首先进行预训练任务（如ROPS），以提升模型的物体部分识别和分割能力，随后通过IRAS任务进行微调，最终实现可供性检测。

关键创新：3D-ADLLM的核心创新在于引入大型语言模型进行3D可供性感知，并设计了专用解码器生成可供性掩码，这与传统方法的标签依赖性形成了鲜明对比。

关键设计：在训练过程中，采用多阶段策略，初始阶段通过ROPS任务进行预训练，后续阶段通过IRAS任务进行微调，确保模型在物体部分级别的识别和推理能力的提升。损失函数和网络结构的设计也经过精心调整，以适应开放词汇的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，3D-ADLLM在开放词汇可供性检测任务上实现了约8%的mIoU提升，相较于基线方法表现出显著的性能改进，验证了其在复杂场景中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人任务、智能家居系统和增强现实等场景，能够帮助机器人更好地理解和互动复杂的3D环境。未来，该方法可能推动人机交互的智能化和自动化进程，提升机器人在动态环境中的适应能力。

📄 摘要（原文）

3D Affordance detection is a challenging problem with broad applications on various robotic tasks. Existing methods typically formulate the detection paradigm as a label-based semantic segmentation task. This paradigm relies on predefined labels and lacks the ability to comprehend complex natural language, resulting in limited generalization in open-world scene. To address these limitations, we reformulate the traditional affordance detection paradigm into \textit{Instruction Reasoning Affordance Segmentation} (IRAS) task. This task is designed to output a affordance mask region given a query reasoning text, which avoids fixed categories of input labels. We accordingly propose the \textit{3D-AffordanceLLM} (3D-ADLLM), a framework designed for reasoning affordance detection in 3D open-scene. Specifically, 3D-ADLLM introduces large language models (LLMs) to 3D affordance perception with a custom-designed decoder for generating affordance masks, thus achieving open-world reasoning affordance detection. In addition, given the scarcity of 3D affordance datasets for training large models, we seek to extract knowledge from general segmentation data and transfer it to affordance detection. Thus, we propose a multi-stage training strategy that begins with a novel pre-training task, i.e., \textit{Referring Object Part Segmentation}~(ROPS). This stage is designed to equip the model with general recognition and segmentation capabilities at the object-part level. Then followed by fine-tuning with the IRAS task, 3D-ADLLM obtains the reasoning ability for affordance detection. In summary, 3D-ADLLM leverages the rich world knowledge and human-object interaction reasoning ability of LLMs, achieving approximately an 8\% improvement in mIoU on open-vocabulary affordance detection tasks.