PixelRefer: A Unified Framework for Spatio-Temporal Object Referring with Arbitrary Granularity

📄 arXiv: 2510.23603v2 📥 PDF

作者: Yuqian Yuan, Wenqiao Zhang, Xin Li, Shihao Wang, Kehan Li, Wentong Li, Jun Xiao, Lei Zhang, Beng Chin Ooi

分类: cs.CV

发布日期: 2025-10-27 (更新: 2025-11-01)

备注: 22 pages, 13 figures

💡 一句话要点

提出PixelRefer，一个统一的区域级多模态大语言模型框架，用于任意粒度的时空对象指代。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 对象指代 细粒度理解 区域级推理 视觉理解

📋 核心要点

  1. 现有多模态大语言模型缺乏细粒度的对象中心推理能力，难以理解用户指定区域内的对象。
  2. PixelRefer提出尺度自适应对象Tokenizer (SAOT)生成对象表示，并设计对象中心注入模块融合全局上下文。
  3. 实验表明PixelRefer在多个基准测试中以更少的训练样本实现了领先性能，PixelRefer-Lite在效率上也有显著提升。

📝 摘要（中文）

多模态大语言模型(MLLMs)在开放世界的视觉理解方面表现出强大的通用能力。然而，现有的大多数MLLMs主要关注整体的场景级理解，常常忽略了对细粒度、以对象为中心的推理需求。本文提出了PixelRefer，一个统一的区域级MLLM框架，能够在图像和视频中对用户指定的区域进行高级的细粒度理解。受到LLM注意力主要集中在对象级token上的观察的启发，我们提出了一个尺度自适应对象Tokenizer (SAOT)，从自由形式的区域生成紧凑且语义丰富的对象表示。我们的分析表明，全局视觉token主要在LLM的早期层中起作用，这启发了PixelRefer-Lite的设计，这是一个高效的变体，它采用对象中心注入模块将全局上下文预先融合到对象token中。这产生了一个轻量级的仅对象框架，在保持高语义保真度的同时，大大降低了计算成本。为了方便细粒度的指令调优，我们整理了PixelRefer-2.2M，一个高质量的以对象为中心的指令数据集。在各种基准上的大量实验验证了PixelRefer以更少的训练样本实现了领先的性能，而PixelRefer-Lite在效率显著提高的同时提供了具有竞争力的准确性。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLMs）在细粒度对象指代任务中的不足。现有MLLMs主要关注场景级别的理解，忽略了对用户指定区域内对象的精细推理能力。这限制了它们在需要精确对象定位和理解的应用中的表现。现有方法无法有效提取和利用区域内的对象信息，导致性能瓶颈。

核心思路：论文的核心思路是构建一个以对象为中心的MLLM框架，通过提取和利用区域内的对象级特征，提升模型对细粒度对象指代的理解能力。具体而言，论文观察到LLM的注意力主要集中在对象级别的token上，因此设计了专门的对象Tokenizer来提取对象特征，并采用对象中心注入模块将全局上下文融入对象特征中。

技术框架：PixelRefer框架主要包含以下几个模块：1) 尺度自适应对象Tokenizer (SAOT)：从用户指定的区域中提取紧凑且语义丰富的对象表示。2) 对象中心注入模块：将全局视觉上下文预先融合到对象token中，增强对象表示的语义信息。3) LLM：利用对象表示和全局上下文进行细粒度的对象指代推理。PixelRefer-Lite是该框架的一个高效变体，它主要采用对象token，减少了计算成本。

关键创新：论文的关键创新在于以下几点：1) 提出了尺度自适应对象Tokenizer (SAOT)，能够从任意形状和大小的区域中提取有效的对象表示。2) 设计了对象中心注入模块，将全局上下文融入对象token中，提升对象表示的语义信息。3) 构建了PixelRefer-2.2M数据集，这是一个高质量的以对象为中心的指令数据集，用于训练和评估模型。

关键设计：SAOT的设计允许模型根据输入区域的尺度自适应地调整token的大小，从而更好地捕捉不同尺度的对象特征。对象中心注入模块通过注意力机制将全局视觉特征融入对象token中，增强了对象表示的上下文信息。PixelRefer-Lite通过仅使用对象token，显著减少了计算量，同时保持了较高的性能。损失函数方面，论文可能采用了交叉熵损失或类似的损失函数来优化模型的预测结果。具体网络结构细节（如Transformer层数、注意力头数等）在论文中可能有所描述，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PixelRefer在多个基准测试中取得了领先的性能，证明了其在细粒度对象指代任务中的有效性。具体而言，PixelRefer以更少的训练样本实现了优于现有方法的性能。PixelRefer-Lite在效率上也有显著提升，在保持较高准确率的同时，大大降低了计算成本。PixelRefer-2.2M数据集的构建为细粒度对象指代任务的研究提供了有力的支持。

🎯 应用场景

PixelRefer具有广泛的应用前景，包括智能视频监控、图像编辑、机器人导航、自动驾驶等领域。例如，在智能视频监控中，可以利用PixelRefer对特定区域内的对象进行识别和跟踪。在图像编辑中，可以根据用户的指令对图像中的特定对象进行修改。在机器人导航和自动驾驶中，可以帮助机器人理解周围环境中的对象，从而做出更合理的决策。

📄 摘要（原文）

Multimodal large language models (MLLMs) have demonstrated strong general-purpose capabilities in open-world visual comprehension. However, most existing MLLMs primarily focus on holistic, scene-level understanding, often overlooking the need for fine-grained, object-centric reasoning. In this paper, we present PixelRefer, a unified region-level MLLM framework that enables advanced fine-grained understanding over user-specified regions across both images and videos. Motivated by the observation that LLM attention predominantly focuses on object-level tokens, we propose a Scale-Adaptive Object Tokenizer (SAOT) to generate compact and semantically rich object representations from free-form regions. Our analysis reveals that global visual tokens contribute mainly in early LLM layers, inspiring the design of PixelRefer-Lite, an efficient variant that employs an Object-Centric Infusion module to pre-fuse global context into object tokens. This yields a lightweight Object-Only Framework that substantially reduces computational cost while maintaining high semantic fidelity. To facilitate fine-grained instruction tuning, we curate PixelRefer-2.2M, a high-quality object-centric instruction dataset. Extensive experiments across a range of benchmarks validate that PixelRefer achieves leading performance with fewer training samples, while PixelRefer-Lite offers competitive accuracy with notable gains in efficiency.