Towards Visually Grounded Multimodal Summarization via Cross-Modal Transformer and Gated Attention

📄 arXiv: 2605.11753v1 📥 PDF

作者: Abid Ali, Diego Molla-Aliod, Usman Naseem

分类: cs.AI

发布日期: 2026-05-12

备注: Accepted to Findings of ACL 2026

💡 一句话要点

SPeCTrA-Sum：提出深度对齐跨模态Transformer和门控注意力机制，用于视觉引导的多模态摘要生成。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态摘要 跨模态融合 深度学习 Transformer 视觉引导 行列式点过程 知识蒸馏

📋 核心要点

  1. 现有方法在多模态摘要中，视觉特征与语言模型融合不足，导致表征不匹配和跨模态对齐效果差。
  2. SPeCTrA-Sum通过深度视觉处理器（DVP）实现视觉编码器与语言模型的深度对齐，并使用视觉相关性预测器（VRP）选择代表性图像。
  3. 实验结果表明，SPeCTrA-Sum能够生成更准确、视觉引导的摘要，并选择更具代表性的图像，验证了方法的有效性。

📝 摘要（中文）

多模态摘要生成需要模型联合理解文本和视觉输入，以生成简洁且语义连贯的摘要。现有方法通常将浅层的视觉特征注入到深层的语言模型中，导致表征不匹配和较弱的跨模态对齐。我们提出了一个统一的框架，可以联合执行文本摘要和代表性图像选择。我们的系统SPeCTrA-Sum（具有跨模态Transformer和门控注意力的采样器感知器，用于摘要生成）引入了两项关键创新。首先，深度视觉处理器（DVP）在相应的深度上将视觉编码器与语言模型对齐，从而实现分层的、逐层的融合，从而保持语义一致性。其次，轻量级的视觉相关性预测器（VRP）通过从行列式点过程（DPP）教师中提取软标签来选择显著且多样的图像。SPeCTrA-Sum使用多目标损失进行训练，该损失结合了自回归摘要、跨模态对齐和基于DPP的蒸馏。实验表明，我们的系统生成了更准确、视觉引导的摘要，并选择了更具代表性的图像，证明了深度感知融合和有原则的图像选择对于多模态摘要的益处。

🔬 方法详解

问题定义：论文旨在解决多模态摘要生成中，视觉信息与文本信息融合不充分，导致摘要质量不高的问题。现有方法通常采用浅层的视觉特征融合方式，无法充分利用视觉信息，并且容易造成视觉和文本表征的不一致性。此外，如何选择与摘要内容相关的代表性图像也是一个挑战。

核心思路：论文的核心思路是设计一个深度对齐的跨模态Transformer架构，使得视觉编码器和语言模型能够在不同深度层次上进行信息交互，从而实现更有效的跨模态融合。同时，引入视觉相关性预测器，通过行列式点过程（DPP）蒸馏的方式，选择与摘要内容相关的、具有代表性的图像。

技术框架：SPeCTrA-Sum系统主要包含以下几个模块：1) 文本编码器：使用预训练的语言模型（如BERT）对文本进行编码。2) 深度视觉处理器（DVP）：将视觉编码器与语言模型在对应深度上对齐，实现分层融合。3) 跨模态Transformer：融合文本和视觉特征，生成多模态表示。4) 摘要生成器：基于多模态表示，生成摘要文本。5) 视觉相关性预测器（VRP）：预测图像与摘要的相关性，并选择代表性图像。

关键创新：论文的关键创新在于：1) 提出了深度视觉处理器（DVP），实现了视觉编码器和语言模型在不同深度层次上的对齐和融合，克服了现有方法中视觉信息利用不足的问题。2) 引入了视觉相关性预测器（VRP），通过DPP蒸馏的方式，选择与摘要内容相关的、具有代表性的图像，提高了摘要的视觉可解释性。

关键设计：DVP的设计关键在于将视觉编码器的每一层输出与语言模型的对应层进行融合，从而实现深度对齐。VRP使用DPP作为教师模型，通过蒸馏的方式，将DPP的软标签传递给VRP，从而引导VRP学习选择多样性和相关性兼顾的图像。损失函数包括自回归摘要损失、跨模态对齐损失和DPP蒸馏损失，共同优化模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPeCTrA-Sum在多模态摘要生成任务上取得了显著的性能提升。与现有方法相比，SPeCTrA-Sum生成的摘要更准确、更具视觉相关性，并且能够选择更具代表性的图像。具体性能数据（如ROUGE指标）和对比基线在论文中进行了详细展示。

🎯 应用场景

该研究成果可应用于新闻摘要、视频摘要、产品描述生成等领域。通过结合视觉信息，可以生成更丰富、更具吸引力的摘要内容，提高用户获取信息的效率和体验。未来，该方法还可以扩展到其他多模态任务中，例如视觉问答、图像描述等。

📄 摘要（原文）

Multimodal summarization requires models to jointly understand textual and visual inputs to generate concise, semantically coherent summaries. Existing methods often inject shallow visual features into deep language models, leading to representational mismatches and weak cross-modal grounding. We propose a unified framework that jointly performs text summarization and representative image selection. Our system, SPeCTrA-Sum (Sampler Perceiver with Cross-modal Transformer and gated Attention for Summarization), introduces two key innovations. First, a Deep Visual Processor (DVP) aligns the visual encoder with the language model at corresponding depths, enabling hierarchical, layer-wise fusion that preserves semantic consistency. Second, a lightweight Visual Relevance Predictor (VRP) selects salient and diverse images by distilling soft labels from a Determinantal Point Processes (DPP) teacher. SPeCTrA-Sum is trained using a multi-objective loss that combines autoregressive summarization, cross-modal alignment, and DPP-based distillation. Experiments show that our system produces more accurate, visually grounded summaries and selects more representative images, demonstrating the benefits of depth-aware fusion and principled image selection for multimodal summarization.