A Mixed Diet Makes DINO An Omnivorous Vision Encoder

📄 arXiv: 2602.24181v1 📥 PDF

作者: Rishabh Kabra, Maks Ovsjanikov, Drew A. Hudson, Ye Xia, Skanda Koppula, Andre Araujo, Joao Carreira, Niloy J. Mitra

分类: cs.CV, cs.AI

发布日期: 2026-02-27

备注: CVPR 2026

💡 一句话要点

提出Omnivorous Vision Encoder，解决DINOv2跨模态特征对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态学习 视觉编码器 特征对齐 知识蒸馏 多模态融合

📋 核心要点

  1. DINOv2等视觉编码器在单模态任务表现优异，但在跨模态特征对齐方面存在明显不足。
  2. Omnivorous Vision Encoder旨在学习模态无关的特征空间，通过双重目标实现跨模态对齐和知识蒸馏。
  3. 该方法使编码器能够为同一场景的不同模态生成一致的嵌入，提升跨模态理解能力。

📝 摘要（中文）

预训练视觉编码器，如DINOv2，在单模态任务上表现出色。然而，我们观察到它们的特征表示在不同模态之间对齐较差。例如，同一场景的RGB图像及其对应深度图的特征嵌入的余弦相似度，与两个随机、不相关图像的相似度几乎相同。为了解决这个问题，我们提出了Omnivorous Vision Encoder，这是一个学习模态无关特征空间的新框架。我们使用双重目标训练编码器：首先，最大化同一场景不同模态之间的特征对齐；其次，使用蒸馏目标，将学习到的表示锚定到完全冻结的教师网络（如DINOv2）的输出。由此产生的学生编码器通过为给定场景生成一致且强大的嵌入，从而成为“杂食性”的，而与输入模态（RGB、深度、分割等）无关。这种方法实现了鲁棒的跨模态理解，同时保留了原始基础模型的判别语义。

🔬 方法详解

问题定义：现有预训练视觉编码器（如DINOv2）在单模态任务中表现出色，但不同模态（如RGB图像和深度图）的特征表示之间缺乏有效对齐。这意味着模型无法很好地理解同一场景在不同模态下的对应关系，阻碍了跨模态理解和推理。

核心思路：论文的核心思路是训练一个“杂食性”的视觉编码器，使其能够为同一场景的不同模态生成一致且语义丰富的特征表示。通过学习模态无关的特征空间，模型可以更好地理解和关联不同模态的信息。

技术框架：Omnivorous Vision Encoder的训练框架包含一个学生编码器和一个教师编码器。学生编码器接收不同模态的输入（如RGB、深度、分割等），并生成相应的特征表示。教师编码器通常是一个预训练好的模型（如DINOv2），其参数在训练过程中保持冻结。训练过程包含两个主要目标：1) 跨模态对齐：最大化同一场景不同模态特征表示之间的相似度；2) 知识蒸馏：将学生编码器的输出与教师编码器的输出对齐，从而保留原始基础模型的语义信息。

关键创新：该方法最重要的创新点在于提出了一个双重目标的训练框架，既实现了跨模态特征对齐，又保留了预训练模型的语义信息。通过这种方式，模型能够更好地理解和关联不同模态的信息，从而提升跨模态理解能力。与传统的单模态训练方法相比，该方法能够更好地利用多模态数据，提高模型的泛化能力。

关键设计：关键设计包括：1) 使用余弦相似度作为跨模态对齐的度量标准；2) 使用预训练的DINOv2作为教师编码器，以保留原始模型的语义信息；3) 通过调整损失函数的权重来平衡跨模态对齐和知识蒸馏两个目标。具体的网络结构可以根据不同的任务和数据集进行调整，但核心思想是保持学生编码器的灵活性，使其能够学习到模态无关的特征表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的Omnivorous Vision Encoder在跨模态特征对齐方面取得了显著提升。实验结果表明，该方法能够有效地将不同模态的特征表示对齐，并保留原始基础模型的语义信息。具体性能数据（如跨模态检索的准确率、下游任务的性能提升）需要在论文中查找。

🎯 应用场景

该研究成果可广泛应用于机器人、自动驾驶、增强现实等领域。例如，机器人可以利用多模态信息（RGB图像、深度图、激光雷达数据）进行环境感知和导航。自动驾驶系统可以利用不同传感器的数据进行目标检测和场景理解。增强现实应用可以利用视觉信息和深度信息进行三维重建和虚拟物体放置。该研究有助于提升这些系统的鲁棒性和可靠性。

📄 摘要（原文）

Pre-trained vision encoders like DINOv2 have demonstrated exceptional performance on unimodal tasks. However, we observe that their feature representations are poorly aligned across different modalities. For instance, the feature embedding for an RGB image and its corresponding depth map of the same scene exhibit a cosine similarity that is nearly identical to that of two random, unrelated images. To address this, we propose the Omnivorous Vision Encoder, a novel framework that learns a modality-agnostic feature space. We train the encoder with a dual objective: first, to maximize the feature alignment between different modalities of the same scene; and second, a distillation objective that anchors the learned representations to the output of a fully frozen teacher such as DINOv2. The resulting student encoder becomes "omnivorous" by producing a consistent, powerful embedding for a given scene, regardless of the input modality (RGB, Depth, Segmentation, etc.). This approach enables robust cross-modal understanding while retaining the discriminative semantics of the original foundation model.