See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding

📄 arXiv: 2605.18018v1 📥 PDF

作者: Boyuan Sun, Bowen Yin, Yuanming Li, Xihan Wei, Qibin Hou

分类: cs.CV, cs.AI, cs.HC

发布日期: 2026-05-18

期刊: CVPR 2026

🔗 代码/项目: GITHUB

💡 一句话要点

SWIM：对齐视觉和语言表征，实现视频细粒度对象理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉语言对齐 细粒度对象理解 跨模态注意力 视频理解

📋 核心要点

  1. 现有方法依赖显式视觉提示进行细粒度对象理解，限制了其应用范围和灵活性。
  2. SWIM通过在训练时利用掩码监督引导跨模态注意力，使模型在推理时能自动关注文本提示的对象。
  3. 实验表明，SWIM显著提升了文本-视觉对齐效果，并在细粒度对象理解任务上超越了现有方法。

📝 摘要（中文）

本文提出了一种新的训练策略SWIM（See What I Mean），旨在对齐视觉和语言表征，从而仅通过文本提示实现细粒度的对象理解。与需要显式视觉提示（如掩码或点）的现有方法不同，SWIM仅在训练期间利用掩码监督来引导跨模态注意力，从而使模型能够在推理时自动关注用户指定的对象。通过对预训练的多模态大型语言模型（MLLM）的跨注意力分析，我们发现了一个系统性的差异：属性词在视觉模态中产生清晰、局部化的激活，而对象名词由于语义参考偏差和分布式高级表征而产生分散的模式。为了解决这种错位问题，我们构建了一个名为NL-Refer的增强数据集，其中每个对象掩码都与精确的自然语言指称表达配对。SWIM从对象名词中提取多层跨注意力图，并强制执行与ground-truth掩码的空间一致性。实验结果表明，SWIM显著提高了文本-视觉对齐，并在细粒度对象理解基准测试中实现了优于基于视觉提示的方法的性能。代码和数据可在https://github.com/HumanMLLM/SWIM 获取。

🔬 方法详解

问题定义：现有方法在进行细粒度对象理解时，通常需要用户提供显式的视觉提示，例如对象掩码或关键点。这种方式不够灵活，限制了模型的应用场景，并且增加了用户的使用负担。论文旨在解决仅通过文本提示实现细粒度对象理解的问题，避免对视觉提示的依赖。

核心思路：论文的核心思路是通过对齐视觉和语言表征，使得模型能够理解文本描述中蕴含的对象信息，并将其与视觉信息对应起来。具体来说，通过在训练阶段引入掩码监督，引导模型学习文本和视觉特征之间的对应关系，从而在推理阶段仅通过文本提示就能定位和理解目标对象。

技术框架：SWIM的整体框架主要包括以下几个部分：1) 预训练的多模态大型语言模型（MLLM）；2) NL-Refer数据集，包含对象掩码和对应的自然语言指称表达；3) 跨注意力模块，用于提取文本和视觉特征之间的关联；4) 空间一致性损失，用于约束跨注意力图与ground-truth掩码的空间一致性。训练过程中，模型首先利用NL-Refer数据集学习文本和视觉特征的对齐关系，然后通过空间一致性损失进行微调，最终实现仅通过文本提示进行细粒度对象理解的能力。

关键创新：该论文的关键创新在于提出了一种新的训练策略SWIM，它能够在没有显式视觉提示的情况下，仅通过文本提示实现细粒度对象理解。与现有方法相比，SWIM更加灵活和通用，可以应用于更广泛的场景。此外，论文还通过分析预训练MLLM的跨注意力机制，发现了属性词和对象名词在视觉模态中的激活模式差异，并针对性地提出了解决方案。

关键设计：在训练过程中，SWIM使用多层跨注意力图来捕捉文本和视觉特征之间的关联。为了保证跨注意力图与ground-truth掩码的空间一致性，论文设计了一种空间一致性损失函数，该损失函数计算跨注意力图和ground-truth掩码之间的KL散度。此外，论文还对NL-Refer数据集进行了精心的设计，确保每个对象掩码都与精确的自然语言指称表达配对，从而为模型的训练提供了高质量的监督信号。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SWIM在细粒度对象理解基准测试中取得了显著的性能提升，超越了基于视觉提示的方法。实验结果表明，SWIM能够更准确地对齐文本和视觉表征，从而实现更精确的对象定位和理解。具体的性能数据和对比基线信息需要在论文原文中查找。

🎯 应用场景

SWIM技术可应用于智能视频分析、图像编辑、人机交互等领域。例如，用户可以通过自然语言描述来编辑视频中的特定对象，或者让机器人根据指令识别并操作目标物体。该研究有助于提升AI系统的智能化水平和人机交互的自然性。

📄 摘要（原文）

We present SWIM (See What I Mean), a novel training strategy that aligns vision and language representations to enable fine-grained object understanding solely from textual prompts. Unlike existing approaches that require explicit visual prompts, such as masks or points, SWIM leverages mask supervision only during training to guide cross-modal attention, allowing the model to automatically attend to the user-specified object at inference. Our cross-attention analysis of pretrained multimodal large languagemodels (MLLMs) reveals a systematic discrepancy: Attribute words produce sharp, localized activations in the visual modality, whereas object nouns yield diffuse and scattered patterns due to semantic reference bias and distributed high-level representations. To address this misalignment, we construct NL-Refer, an enriched dataset, in which each object mask is paired with a precise natural language referring expression. SWIM extracts multi-layer cross-attention maps from object nouns and enforces spatial consistency with ground-truth masks. Experimental results demonstrate that SWIM substantially improves text-visual alignment and achieves superior performance over visual-prompt-based methods on fine-grained object understanding benchmarks. The code and data are available at \href{https://github.com/HumanMLLM/SWIM}{https://github.com/HumanMLLM/SWIM}.