Mitigating Saliency Collapse: Robust Saliency-Aware Long-Text Image-Text Alignment

📄 arXiv: 2610.31005v2 📥 PDF

作者: Qiuyu Kong, Zanxi Ruan, Marco Cristani, Yiming Wang

分类: cs.AI

发布日期: 2026-10-22 (更新: 2026-10-23)

🔗 代码/项目: GITHUB

💡 一句话要点

提出RoSA框架以解决长文本图像-文本对齐中的显著性崩溃问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 长文本对齐 显著性崩溃 多模态学习 图像检索 语义理解

📋 核心要点

  1. 现有的长文本图像-文本对齐方法主要关注上下文长度扩展和局部对齐，忽视了显著性崩溃问题。
  2. 论文提出RoSA框架，通过将图像-文本对分解为显著和上下文视图，实现突显和上下文语义的联合学习。
  3. RoSA在长文本检索中表现出显著提升，并在多个基准测试中展现出对显著性崩溃的强鲁棒性。

📝 摘要（中文）

长文本图像-文本对齐对于细粒度场景理解至关重要，但现有方法主要集中于扩展上下文长度或改善局部对齐。我们识别出一个被忽视的失败模式，即显著性崩溃，模型过度依赖视觉突出的文本，而未能充分利用非显著上下文。因此，当显著内容减少时，检索性能急剧下降。为此，我们提出RoSA，一个显著性感知的微调框架，将图像-文本对分解为互补的显著和上下文视图，促进突显和上下文语义的联合学习。我们采用了一种模态无关的分解策略，将对象级视觉显著性估计与基于LLM的文本分解相结合，以桥接视觉与语言。RoSA显著提升了长文本检索性能，并在多个基准测试中展现出对显著性崩溃的强鲁棒性。

🔬 方法详解

问题定义：本论文旨在解决长文本图像-文本对齐中的显著性崩溃问题，现有方法过度依赖视觉显著的文本，导致在显著内容减少时检索性能显著下降。

核心思路：我们提出RoSA框架，通过将图像-文本对分解为显著和上下文视图，促进两者的联合学习，以提高对非显著上下文的利用率。

技术框架：RoSA的整体架构包括显著性估计模块和文本分解模块，前者负责提取图像中的显著区域，后者则通过LLM对文本进行分解，最终通过辅助目标进行对齐。

关键创新：RoSA的创新在于其模态无关的分解策略，结合了视觉和语言的特征，使得模型在处理长文本时更具鲁棒性，尤其是在显著性崩溃的情况下。

关键设计：在关键设计上，RoSA采用了多种辅助目标来显式对齐显著和上下文视图，确保模型同时捕捉到显著和上下文特征，损失函数设计上也考虑了两者的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoSA在长文本检索任务中表现出显著的性能提升，相较于基线方法，检索准确率提高了XX%，并在多个基准测试中展现出对显著性崩溃的强鲁棒性，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括图像检索、内容推荐和多模态学习等。通过提升长文本与图像的对齐能力，RoSA能够在实际场景中提供更为精准的检索结果，进而改善用户体验。未来，该框架还可能扩展到其他多模态任务中，推动相关领域的发展。

📄 摘要（原文）

Long-text image-text alignment is essential for fine-grained scene understanding, yet existing methods mainly focus on extending context length or improving local alignment. We identify an overlooked failure mode, saliency collapse, where models over-rely on text that features visual prominence while underutilizing non-salient context. Consequently, retrieval performance degrades sharply when salient content is reduced, despite that the non-salient context remains informative. To address this, we propose RoSA, a saliency-aware finetuning framework that decomposes image-text pairs into complementary salient and contextual views, enabling joint learning of prominent and contextual semantics. We propose a modality-independent decomposition strategy to combine object-level visual saliency estimation with LLM-based text decomposition to bridge vision and language. We employ auxiliary objectives to explicitly align these views, ensuring robust representation with both salient and contextual features. RoSA greatly improves long-text retrieval and demonstrates strong robustness to saliency collapse across benchmarks. Moreover, our auxiliary objectives are plug-and-play, bringing consistent gains to existing tuning methods. Code and checkpoints are available at: https://github.com/intelligolabs/RoSA.