UniAfford: Token-Routed Multitask Learning for Generalizable 2D-3D Affordance Perception

📄 arXiv: 2609.37264v1 📥 PDF

作者: Yuhao Liu, Yiming Zhong, Hanqing Wang, Shaocheng Yan, Yuhang Zhang, Wenzhou Lyu, Ziyang Ding, Wei Zhang, Xue Zhao, Jin Pan, Yuexin Ma, Xinge Zhu

分类: cs.CV, cs.AI

发布日期: 2026-09-29

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出UniAfford以解决2D-3D可操作性感知的碎片化问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可操作性感知 多任务学习 模态融合 深度学习 机器人交互

📋 核心要点

  1. 现有的2D和3D可操作性感知方法存在碎片化问题，导致可转移语义学习受限。
  2. 本文提出Token Router for Tasks，通过多任务训练将上下文状态路由到特定任务分支，提升了模型的泛化能力。
  3. 实验结果显示，UniAfford在没有目标特定微调的情况下，实现了强大的零-shot泛化，并在各分支上达到了最先进的性能。

📝 摘要（中文）

可操作性感知旨在定位支持具身交互的可操作区域，但2D和3D可操作性基础已演变为两个独立的问题，具有不同的任务定义、监督格式、数据集和评估协议。这种碎片化限制了可转移的对象-可操作性语义在视觉和几何空间之间的学习。本文提出了一种多任务训练范式Token Router for Tasks，能够将上下文隐藏状态路由到特定任务分支，且无需语言头生成预定义标记。通过直接监督路由状态，本文构建了一个统一的框架UniAfford，实现了可泛化的2D-3D可操作性感知，并提出了UniAfford-Data数据集，支持语义级的2D-3D配对监督。实验结果表明，模型在2D和3D可操作性基准上实现了强大的零-shot泛化能力，并在各个分支上表现出色。

🔬 方法详解

问题定义：本文旨在解决2D和3D可操作性感知的碎片化问题，现有方法在任务定义、监督格式和数据集上存在显著差异，限制了跨模态的语义学习能力。

核心思路：提出Token Router for Tasks的多任务训练范式，通过将上下文隐藏状态路由到特定任务分支，避免了对语言头生成预定义标记的依赖，从而实现更灵活的任务适应性。

技术框架：整体架构包括一个共享的多模态语言模型（MLLM）作为语义中心，以及一个感知查询的模态感知令牌路由器。该框架支持从图像、点云或配对的多模态输入中进行2D、3D及联合可操作性推断。

关键创新：最重要的技术创新在于通过路由状态直接监督特定任务目标，使得共享的MLLM表示能够通过密集预测损失进行优化，显著提升了模型的泛化能力。

关键设计：在模型设计中，采用了SAM风格的像素解码器和SONATA基础的点解码器，支持灵活的2D和3D推断。同时，损失函数的设计考虑了任务特定的目标，确保了模型在不同模态下的有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UniAfford在2D和3D可操作性基准上实现了强大的零-shot泛化能力，且在各个分支上均表现出色，超越了现有的最先进方法，验证了路由状态的有效性和任务特定监督的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人交互、增强现实和虚拟现实等场景，能够提升机器对环境的理解和交互能力。未来，该框架有望在智能家居、自动驾驶等领域实现更广泛的应用，推动人机交互的智能化进程。

📄 摘要（原文）

Affordance perception aims to localize actionable regions supporting embodied interaction, yet 2D and 3D affordance grounding have evolved as separate problems, with different task definitions, supervision formats, datasets, and evaluation protocols. This fragmentation limits the learning of transferable object-affordance semantics across visual and geometric spaces. We propose Token Router for Tasks, a multitask training paradigm for MLLM-based systems that routes contextual hidden states to task-specific branches without requiring the language head to generate predefined markers. Routed states are supervised directly by branch-specific objectives, enabling dense prediction losses to shape shared MLLM representations. We instantiate this paradigm as UniAfford, a unified framework for generalizable 2D-3D affordance perception, together with UniAfford-Data, a dataset integrating pixel-level 2D annotations, point-level 3D annotations, and language instructions under a shared object-affordance taxonomy, supporting heterogeneous supervision through semantic-level 2D-3D pairing. UniAfford adopts an MLLM as a shared semantic hub and a modality-aware token router to produce image- and point-cloud-affordance queries. These queries respectively condition a SAM-style pixel decoder and a SONATA-based point decoder, enabling flexible 2D, 3D, and joint affordance inference from image-only, point-cloud-only, or paired multimodal inputs. Experiments demonstrate strong zero-shot generalization across 2D and 3D affordance benchmarks without target-specific fine-tuning, alongside state-of-the-art branch-wise performance under modality-isolated protocols. Ablations validate token routing, joint 2D-3D supervision, and decoder coupling, while language-head diagnostics show that routed latent states carry meaningful object-affordance semantics. Project page: https://4dvlab.github.io/UniAfford