Region-based Cluster Discrimination for Visual Representation Learning

📄 arXiv: 2507.20025v1 📥 PDF

作者: Yin Xie, Kaicheng Yang, Xiang An, Kun Wu, Yongle Zhao, Weimo Deng, Zimin Ran, Yumeng Wang, Ziyong Feng, Roy Miles, Ismail Elezi, Jiankang Deng

分类: cs.CV

发布日期: 2025-07-26

备注: Accepted as a highlight paper at ICCV 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出RICE：基于区域聚类判别的视觉表征学习方法，提升密集预测任务性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉表征学习 区域聚类判别 密集预测任务 区域Transformer 多模态学习

📋 核心要点

  1. 现有视觉-语言模型依赖全局表征，在grounding、OCR和分割等密集预测任务中表现受限。
  2. RICE方法通过区域Transformer提取区域语义，并设计统一的区域聚类判别损失，同时支持对象和OCR学习。
  3. 实验表明，RICE在分割、密集检测和MLLM视觉感知等任务上超越现有方法，具有显著性能提升。

📝 摘要（中文）

视觉表征学习是众多下游任务的基础。尽管最近的视觉-语言对比模型，如CLIP和SigLIP，通过大规模的视觉-语言对齐实现了令人印象深刻的零样本性能，但它们对全局表征的依赖限制了其在密集预测任务（如grounding、OCR和分割）中的有效性。为了解决这个问题，我们引入了区域感知聚类判别（RICE），这是一种新颖的方法，旨在增强区域级别的视觉和OCR能力。我们首先构建了一个十亿规模的候选区域数据集，并提出了一个区域Transformer层来提取丰富的区域语义。我们进一步设计了一个统一的区域聚类判别损失，该损失在单个分类框架内共同支持对象和OCR学习，从而实现大规模数据上的高效且可扩展的分布式训练。大量实验表明，RICE在分割、密集检测以及多模态大型语言模型（MLLM）的视觉感知等任务上始终优于以前的方法。预训练模型已在https://github.com/deepglint/MVT上发布。

🔬 方法详解

问题定义：现有视觉-语言模型，如CLIP，虽然在零样本分类等任务上表现出色，但其依赖于全局图像表征，缺乏对图像局部区域的细粒度理解。这导致它们在需要精确定位的密集预测任务，如目标分割、OCR和视觉grounding等任务中表现不佳。现有方法难以有效利用区域信息进行学习，并且缺乏统一的框架来同时处理视觉对象和文本信息。

核心思路：RICE的核心思想是通过对图像区域进行聚类，并利用聚类结果进行判别学习，从而增强模型对图像局部区域的感知能力。通过学习区域级别的视觉表征，模型可以更好地理解图像中的对象和文本信息，从而提升在密集预测任务中的性能。该方法旨在弥补全局表征的不足，并提供一种更细粒度的视觉理解方式。

技术框架：RICE的整体框架包括以下几个主要阶段：1) 构建大规模候选区域数据集；2) 使用区域Transformer层提取区域语义特征；3) 设计统一的区域聚类判别损失函数，用于训练模型；4) 在下游任务上进行微调和评估。区域Transformer层负责将图像区域转换为高维语义向量，聚类判别损失函数则鼓励模型学习区分不同的区域聚类。

关键创新：RICE的关键创新在于以下几个方面：1) 提出了区域Transformer层，能够有效地提取区域语义特征；2) 设计了统一的区域聚类判别损失函数，能够同时支持对象和OCR学习；3) 构建了大规模候选区域数据集，为模型的训练提供了充足的数据。与现有方法相比，RICE能够更有效地利用区域信息，并提供一种更通用的视觉表征学习框架。

关键设计：区域Transformer层采用Transformer架构，输入为图像区域的视觉特征，输出为区域的语义向量。区域聚类判别损失函数基于交叉熵损失，鼓励模型将相似的区域划分到同一个聚类中，并将不同的区域划分到不同的聚类中。大规模候选区域数据集包含数十亿个图像区域，涵盖了各种对象和场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RICE在多个任务上取得了显著的性能提升。在分割任务上，RICE超越了之前的最佳方法。在密集检测任务上，RICE也取得了显著的性能提升。此外，RICE还提升了多模态大型语言模型（MLLM）的视觉感知能力。这些实验结果表明，RICE是一种有效的视觉表征学习方法。

🎯 应用场景

RICE方法具有广泛的应用前景，可应用于目标检测、图像分割、OCR、视觉grounding等任务。该方法还可以用于增强多模态大型语言模型（MLLM）的视觉感知能力，使其能够更好地理解图像内容。此外，RICE还可以应用于自动驾驶、机器人导航等领域，提升机器对环境的理解和感知能力。

📄 摘要（原文）

Learning visual representations is foundational for a broad spectrum of downstream tasks. Although recent vision-language contrastive models, such as CLIP and SigLIP, have achieved impressive zero-shot performance via large-scale vision-language alignment, their reliance on global representations constrains their effectiveness for dense prediction tasks, such as grounding, OCR, and segmentation. To address this gap, we introduce Region-Aware Cluster Discrimination (RICE), a novel method that enhances region-level visual and OCR capabilities. We first construct a billion-scale candidate region dataset and propose a Region Transformer layer to extract rich regional semantics. We further design a unified region cluster discrimination loss that jointly supports object and OCR learning within a single classification framework, enabling efficient and scalable distributed training on large-scale data. Extensive experiments show that RICE consistently outperforms previous methods on tasks, including segmentation, dense detection, and visual perception for Multimodal Large Language Models (MLLMs). The pre-trained models have been released at https://github.com/deepglint/MVT.