AFUN: Towards an Affordance Foundation Model for Functionality Understanding
作者: Zhaoning Wang, Yi Zhong, Jiawei Fu, Henrik I. Christensen, Jun Gao
分类: cs.RO, cs.CV
发布日期: 2026-06-01
💡 一句话要点
提出AFUN，用于功能理解的具身智能基础模型，实现开放世界机器人操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能 功能理解 机器人操作 深度学习 三维运动预测
📋 核心要点
- 现有具身智能方法难以同时定位交互区域并生成可执行运动，且泛化能力有限，无法适应复杂环境。
- AFUN模型通过RGB-D图像和语言描述，预测任务条件功能掩码和3D运动曲线，实现功能理解。
- 实验表明，AFUN在具身智能分割、接触点预测和3D运动预测方面显著优于现有方法，并具备实际机器人操作能力。
📝 摘要（中文）
具身智能理解连接了视觉感知和物理动作，为开放和非结构化真实世界环境中的机器人操作提供了一个可解释的接口。然而，构建一个具身智能基础模型，不仅能够理解交互应该在哪里以及如何发生，而且能够推广到不同的环境、对象和任务中，仍然是一个长期存在的挑战。现有方法通常只解决了这个挑战的一部分，要么定位了与任务相关的区域而没有指定可执行的运动，要么预测了运动但可扩展性有限。本文提出了AFUN模型，朝着功能理解的具身智能基础模型迈出了一步。从单个RGB-D观察和一个语言任务描述中，AFUN模型预测了一个任务条件功能掩码（在哪里交互）和一个3D接触后运动曲线（如何交互）。为了支持开放世界泛化，我们构建了一个大规模标准化数据管道，将异构机器人、人类、模拟和真实世界扫描数据转换为具有语言、掩码和以对象为中心的3D运动标签的共享具身智能模式。我们从三个方面评估了AFUN模型：对于具身智能分割，AFUN模型在来自4个基准测试的8个测试集上，大幅优于所有基线，平均gIoU/cIoU提高了+23.9/+26.3；对于接触点预测，它预测的点明显更准确，比最佳基线提高了12.7-61.3%的命中率；对于3D运动，它在所有三个测试集上都取得了最佳性能。AFUN模型可以部署到真实世界的机器人操作中，无需针对机器人形态进行微调或使用特定于任务的启发式方法，展示了适应开放世界具身智能任务的能力。
🔬 方法详解
问题定义：现有方法在具身智能理解方面存在局限性，要么只能定位任务相关的区域，无法生成具体的运动轨迹；要么只能预测运动轨迹，但泛化能力不足，难以适应不同的环境、对象和任务。这阻碍了机器人在开放世界中进行有效的交互和操作。
核心思路：AFUN的核心思路是构建一个能够同时理解交互位置和交互方式的具身智能基础模型。通过结合视觉信息（RGB-D图像）和语言指令，模型能够预测出任务相关的交互区域（功能掩码）以及执行交互所需的3D运动轨迹。这种设计使得模型能够更好地理解任务意图，并生成更精确的交互动作。
技术框架：AFUN的整体框架包括以下几个主要模块：1) 视觉感知模块：用于处理RGB-D图像，提取场景的视觉特征。2) 语言理解模块：用于解析语言指令，提取任务相关的语义信息。3) 功能掩码预测模块：基于视觉特征和语义信息，预测交互应该发生的区域。4) 3D运动预测模块：基于视觉特征、语义信息和功能掩码，预测接触后的3D运动轨迹。这些模块协同工作，共同实现对交互位置和交互方式的理解。
关键创新：AFUN最重要的技术创新点在于其能够同时预测功能掩码和3D运动轨迹，从而实现对交互位置和交互方式的全面理解。与现有方法相比，AFUN不仅能够定位交互区域，还能够生成具体的运动轨迹，从而使得机器人能够更好地执行交互任务。此外，AFUN还构建了一个大规模标准化数据管道，用于训练模型的泛化能力。
关键设计：AFUN的关键设计包括：1) 使用Transformer网络来融合视觉特征和语义信息。2) 设计了一种新的损失函数，用于训练功能掩码预测模块和3D运动预测模块。3) 构建了一个包含机器人、人类、模拟和真实世界扫描数据的大规模数据集，用于训练模型的泛化能力。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
AFUN在具身智能分割任务中，相较于现有方法，平均gIoU/cIoU提升了+23.9/+26.3。在接触点预测任务中，命中率提升了12.7-61.3%。在3D运动预测任务中，AFUN在所有测试集上均取得了最佳性能。此外，AFUN无需针对特定机器人进行微调，即可直接应用于真实世界的机器人操作。
🎯 应用场景
AFUN模型在机器人操作、自动化装配、智能家居等领域具有广泛的应用前景。它可以帮助机器人在复杂环境中自主完成各种任务，例如物体抓取、工具使用、设备维护等。通过理解人类的指令和环境信息，AFUN可以使机器人更加智能、灵活和安全，从而提高生产效率和生活质量。
📄 摘要（原文）
Affordance understanding bridges visual perception and physical action, serving as an explainable interface for robot manipulation in open and unstructured real-world environments. Yet, building an affordance foundation model that not only understands where and how the interaction should happen, but also generalizes across diverse environments, objects, and tasks, remains a long-standing research challenge. Existing methods typically address only part of this challenge, either localizing task-relevant regions without specifying executable motion, or predicting motion but with limited scalability. In this paper, we present ourmodel, a step towards an affordance foundation model for functionality understanding. From a single RGB-D observation and a language task description, ourmodel predicts a task-conditional functional mask (where to interact) and a 3D post-contact motion curve (how to interact). To support open-world generalization, we build a large-scale standardized data pipeline that converts heterogeneous robot, human, simulation, and real-world scan data into a shared affordance schema with language, masks, and object-centric 3D motion labels. We evaluate ourmodel from three aspects: for affordance segmentation, ourmodel outperforms all baselines by a large margin across 8 test sets from 4 benchmarks, improving mean gIoU/cIoU by +23.9/+26.3; for contact-point prediction, it predicts substantially more accurate points, with a 12.7--61.3% hit-rate gain over the best baseline; and for 3D motion, it achieves the best performance on all three test sets. ourmodel can be deployed for real-world robot manipulation without finetuning for robot embodiment or using task-specific heuristics, demonstrating the ability to adapt to open-world affordance tasks. Project page: https://www.zhaoningwang.com/AFUN