Mitigating Saliency Collapse: Robust Saliency-Aware Long-Text Image-Text Alignment
作者: Qiuyu Kong, Zanxi Ruan, Marco Cristani, Yiming Wang
分类: cs.AI
发布日期: 2026-10-22
🔗 代码/项目: GITHUB
💡 一句话要点
提出RoSA框架以解决长文本图像-文本对齐中的显著性崩溃问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 长文本对齐 显著性崩溃 多模态学习 图像检索 语义理解
📋 核心要点
- 现有方法在长文本图像-文本对齐中忽视了显著性崩溃问题，导致在显著内容减少时检索性能急剧下降。
- 论文提出RoSA框架，通过显著性感知的微调，将图像-文本对分解为显著和上下文视图，实现联合学习。
- RoSA在长文本检索中显著提升性能，并在显著性崩溃场景中展现出强大的鲁棒性，辅助目标设计为现有方法带来一致性提升。
📝 摘要（中文）
长文本图像-文本对齐对于细粒度场景理解至关重要，但现有方法主要关注扩展上下文长度或改善局部对齐。我们识别出一个被忽视的失败模式——显著性崩溃，模型过度依赖视觉突出的文本，而未能充分利用非显著上下文。为此，我们提出RoSA，一个显著性感知的微调框架，通过将图像-文本对分解为互补的显著和上下文视图，实现突出的语义和上下文语义的联合学习。RoSA显著提高了长文本检索性能，并在各基准测试中表现出强大的显著性崩溃鲁棒性。
🔬 方法详解
问题定义：本论文旨在解决长文本图像-文本对齐中的显著性崩溃问题。现有方法主要关注局部对齐和上下文长度扩展，未能有效利用非显著上下文，导致在显著内容减少时性能显著下降。
核心思路：论文提出RoSA框架，通过将图像-文本对分解为显著和上下文视图，促进两者的联合学习。这种设计旨在增强模型对非显著上下文的利用，从而提高整体检索性能。
技术框架：RoSA框架包括显著性估计模块和文本分解模块，前者负责从图像中提取显著性信息，后者利用大语言模型对文本进行分解。通过辅助目标对这两个视图进行显式对齐，确保模型能够同时学习显著和上下文特征。
关键创新：RoSA的主要创新在于提出了一种模态无关的分解策略，将对象级视觉显著性估计与基于大语言模型的文本分解相结合，打破了视觉与语言之间的壁垒。与现有方法相比，RoSA能够更全面地利用图像和文本信息。
关键设计：在关键设计上，RoSA采用了多种辅助目标来确保显著和上下文视图的对齐，损失函数设计上强调了对齐的鲁棒性。此外，网络结构灵活，能够与现有的微调方法无缝集成，提升了模型的适应性和性能。
🖼️ 关键图片
📊 实验亮点
RoSA在长文本检索任务中显著提升了性能，具体表现为在多个基准测试中，相较于传统方法，检索准确率提高了X%（具体数据未知），并且在显著性崩溃情况下表现出更强的鲁棒性，验证了其有效性和实用性。
🎯 应用场景
该研究在长文本图像-文本对齐领域具有广泛的应用潜力，尤其是在图像检索、内容推荐和多模态学习等场景中。通过提高模型对非显著上下文的利用，RoSA能够在信息检索和场景理解中提供更为准确的结果，推动相关领域的发展。
📄 摘要（原文）
Long-text image-text alignment is essential for fine-grained scene understanding, yet existing methods mainly focus on extending context length or improving local alignment. We identify an overlooked failure mode, saliency collapse, where models over-rely on text that features visual prominence while underutilizing non-salient context. Consequently, retrieval performance degrades sharply when salient content is reduced, despite that the non-salient context remains informative. To address this, we propose RoSA, a saliency-aware finetuning framework that decomposes image-text pairs into complementary salient and contextual views, enabling joint learning of prominent and contextual semantics. We propose a modality-independent decomposition strategy to combine object-level visual saliency estimation with LLM-based text decomposition to bridge vision and language. We employ auxiliary objectives to explicitly align these views, ensuring robust representation with both salient and contextual features. RoSA greatly improves long-text retrieval and demonstrates strong robustness to saliency collapse across benchmarks. Moreover, our auxiliary objectives are plug-and-play, bringing consistent gains to existing tuning methods. Code and checkpoints are available at: https://github.com/intelligolabs/RoSA