Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization

📄 arXiv: 2603.08282v1 📥 PDF

作者: Chaimae Chellaf, Salima Mdhaffar, Yannick Estève, Stéphane Huet

分类: cs.CL

发布日期: 2026-03-09

备注: Accepted at LREC 2026

💡 一句话要点

提出SBARThez框架，利用多模态和语言无关的句子嵌入改进抽象摘要生成，提升事实一致性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抽象摘要 多模态学习 跨语言处理 句子嵌入 命名实体识别

📋 核心要点

  1. 抽象摘要生成易受“幻觉”影响，模型可能引入原文不存在的信息，降低摘要质量。
  2. SBARThez框架利用多模态和多语言句子嵌入，结合命名实体注入机制，提升摘要的事实一致性。
  3. 实验表明，SBARThez在低资源语言上表现出竞争力的性能，并能生成更简洁和抽象的摘要。

📝 摘要（中文）

抽象摘要旨在通过创建新句子来生成简洁的摘要，从而实现灵活的释义。然而，这种方法容易出现不准确的情况，特别是模型引入不存在信息的“幻觉”。本文利用从预训练模型（如LaBSE、SONAR和BGE-M3）导出的多模态和多语言句子嵌入，并将它们输入到修改后的基于BART的法语模型中。引入了一种命名实体注入机制，将token化的命名实体附加到解码器输入，以提高生成摘要的事实一致性。我们提出的新框架SBARThez适用于文本和语音输入，并支持跨语言摘要；相对于token级别的基线，它表现出具有竞争力的性能，尤其是在低资源语言方面，同时生成更简洁和抽象的摘要。

🔬 方法详解

问题定义：抽象摘要生成任务旨在生成简洁且信息丰富的文本摘要，但现有方法容易产生“幻觉”，即生成的内容与原始文本不符，尤其是在处理低资源语言时，这一问题更加突出。现有的基于token级别的方法在生成抽象摘要时，缺乏对语义信息的充分利用，容易导致事实性错误。

核心思路：本文的核心思路是利用预训练的多模态和多语言句子嵌入来增强摘要生成模型对语义信息的理解，并通过命名实体注入机制来提高生成摘要的事实一致性。通过句子嵌入，模型可以更好地捕捉原文的语义信息，减少信息的丢失和扭曲。命名实体注入则可以显式地引导模型关注重要的实体信息，从而避免生成与原文不符的内容。

技术框架：SBARThez框架主要包含以下几个模块：1) 句子嵌入模块：使用预训练的多模态和多语言模型（如LaBSE、SONAR和BGE-M3）将输入文本或语音转换为句子嵌入。2) 摘要生成模块：使用修改后的基于BART的法语模型作为摘要生成器，该模型以句子嵌入作为输入，生成摘要文本。3) 命名实体注入模块：在解码阶段，将token化的命名实体附加到解码器输入，以引导模型关注重要的实体信息。整个流程是，首先将输入文本或语音通过句子嵌入模块编码成向量表示，然后将这些向量表示输入到摘要生成模块，同时在解码阶段利用命名实体注入模块来提高生成摘要的事实一致性。

关键创新：该论文的关键创新在于：1) 结合了多模态和多语言句子嵌入来增强摘要生成模型对语义信息的理解。2) 提出了命名实体注入机制，显式地引导模型关注重要的实体信息，从而提高生成摘要的事实一致性。3) SBARThez框架可以同时处理文本和语音输入，并支持跨语言摘要。与现有方法相比，SBARThez框架更加注重语义信息的利用和事实一致性的保证。

关键设计：在句子嵌入模块中，选择了LaBSE、SONAR和BGE-M3等预训练模型，这些模型在多语言和多模态任务上表现出色。在摘要生成模块中，使用了修改后的基于BART的法语模型，并针对摘要生成任务进行了微调。在命名实体注入模块中，采用了token化的命名实体，并将其附加到解码器输入。具体的参数设置和损失函数等技术细节在论文中没有详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SBARThez框架在低资源语言的摘要生成任务上表现出竞争力的性能，生成了更简洁和抽象的摘要。虽然论文中没有给出具体的性能数据和提升幅度，但强调了其在低资源语言上的优势，表明该方法在处理数据稀缺问题上具有潜力。与token级别的基线方法相比，SBARThez能够生成更符合原文语义的摘要。

🎯 应用场景

该研究成果可应用于新闻摘要、会议记录生成、语音转录摘要等领域。通过提高摘要的事实一致性和信息完整性，可以帮助用户快速准确地获取关键信息，节省时间和精力。未来，该技术有望应用于智能客服、教育辅助等领域，为用户提供更加个性化和智能化的服务。

📄 摘要（原文）

Abstractive summarization aims to generate concise summaries by creating new sentences, allowing for flexible rephrasing. However, this approach can be vulnerable to inaccuracies, particularly `hallucinations' where the model introduces non-existent information. In this paper, we leverage the use of multimodal and multilingual sentence embeddings derived from pretrained models such as LaBSE, SONAR, and BGE-M3, and feed them into a modified BART-based French model. A Named Entity Injection mechanism that appends tokenized named entities to the decoder input is introduced, in order to improve the factual consistency of the generated summary. Our novel framework, SBARThez, is applicable to both text and speech inputs and supports cross-lingual summarization; it shows competitive performance relative to token-level baselines, especially for low-resource languages, while generating more concise and abstract summaries.