MRGSEM-Sum: An Unsupervised Multi-document Summarization Framework based on Multi-Relational Graphs and Structural Entropy Minimization
作者: Yongbing Zhang, Fang Nan, Shengxiang Gao, Yuxin Huang, Kaiwen Tan, Zhengtao Yu
分类: cs.CL, cs.IR
发布日期: 2025-07-31
💡 一句话要点
提出MRGSEM-Sum框架，利用多关系图和结构熵最小化实现无监督多文档摘要。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多文档摘要 无监督学习 图聚类 多关系图 结构熵最小化 文本摘要 自然语言处理
📋 核心要点
- 现有方法在多文档摘要中，无法充分表示文档间复杂关系，且需要预先设定簇的数量。
- MRGSEM-Sum构建多关系图融合语义和篇章关系，并利用结构熵最小化自适应聚类。
- 实验表明，MRGSEM-Sum在多个数据集上超越了现有无监督方法，并接近监督模型性能。
📝 摘要（中文）
多文档摘要的核心挑战在于文档间关系的复杂性和信息冗余。图聚类通过图结构建模文档间复杂关系并聚类减少冗余，是解决该问题的有效范式。然而，现有方法通常只考虑单关系图，且需要预定义簇的数量，限制了其表示丰富关系信息和自适应划分句子组以减少冗余的能力。为克服这些限制，我们提出了MRGSEM-Sum，一个基于多关系图和结构熵最小化的无监督多文档摘要框架。该框架构建了一个融合句子间语义和篇章关系的多关系图，全面建模文档间句子错综复杂且动态的连接。然后，应用二维结构熵最小化算法进行聚类，自动确定最佳簇数，有效地将句子组织成连贯的组。最后，引入位置感知压缩机制来提炼每个簇，生成简洁且信息丰富的摘要。在四个基准数据集上的大量实验表明，我们的方法始终优于以往的无监督方法，并在某些情况下达到了与监督模型和大型语言模型相当的性能。人工评估表明，MRGSEM-Sum生成的摘要具有高度的一致性和覆盖率，接近人类水平的质量。
🔬 方法详解
问题定义：多文档摘要旨在从多个文档中提取关键信息，生成简洁且信息量丰富的摘要。现有方法主要痛点在于无法有效建模文档间复杂的关系，特别是语义和篇章关系，并且通常需要预先定义簇的数量，限制了其自适应性，导致信息冗余和摘要质量下降。
核心思路：MRGSEM-Sum的核心思路是利用多关系图来全面建模文档间句子级别的复杂关系，并结合结构熵最小化方法自适应地进行聚类，从而有效地减少信息冗余，提高摘要的质量。通过融合语义和篇章关系，可以更准确地捕捉句子之间的关联性，而自适应聚类则避免了预定义簇数量的限制，提高了模型的灵活性。
技术框架：MRGSEM-Sum框架主要包含三个阶段：1) 构建多关系图：融合句子间的语义和篇章关系，构建一个多关系图，其中节点代表句子，边代表句子之间的关系强度。2) 结构熵最小化聚类：应用二维结构熵最小化算法对多关系图进行聚类，自动确定最佳簇数，并将句子组织成连贯的组。3) 位置感知压缩：对每个簇进行提炼，利用位置信息对句子进行加权，并选择最具代表性的句子组成摘要。
关键创新：MRGSEM-Sum的关键创新在于：1) 提出了多关系图的概念，能够更全面地建模文档间句子级别的复杂关系，克服了现有方法仅考虑单关系图的局限性。2) 采用了二维结构熵最小化算法进行聚类，实现了簇数量的自适应确定，避免了预定义簇数量的限制。3) 引入了位置感知压缩机制，能够更好地提炼每个簇，生成简洁且信息丰富的摘要。
关键设计：在多关系图构建中，语义关系可以通过预训练语言模型（如BERT）计算句子嵌入的相似度得到，篇章关系可以通过分析句子之间的连接词、指代关系等得到。二维结构熵最小化算法的目标是最小化簇内的信息冗余和簇间的信息损失，其损失函数通常包含簇内相似度和簇间差异度两部分。位置感知压缩机制中，可以根据句子在文档中的位置赋予不同的权重，例如，位于文档开头或结尾的句子通常被认为更重要。
🖼️ 关键图片
📊 实验亮点
在Multi-News、DUC-2004、PubMed和WikiSum四个基准数据集上的实验结果表明，MRGSEM-Sum始终优于以往的无监督方法，并在某些情况下达到了与监督模型和大型语言模型相当的性能。人工评估表明，MRGSEM-Sum生成的摘要具有高度的一致性和覆盖率，接近人类水平的质量。
🎯 应用场景
MRGSEM-Sum可应用于新闻摘要、科研文献综述、会议记录整理等领域。该研究的实际价值在于能够自动生成高质量的多文档摘要，节省人工成本，提高信息获取效率。未来，该方法可以进一步扩展到其他自然语言处理任务，如文本分类、问答系统等。
📄 摘要（原文）
The core challenge faced by multi-document summarization is the complexity of relationships among documents and the presence of information redundancy. Graph clustering is an effective paradigm for addressing this issue, as it models the complex relationships among documents using graph structures and reduces information redundancy through clustering, achieving significant research progress. However, existing methods often only consider single-relational graphs and require a predefined number of clusters, which hinders their ability to fully represent rich relational information and adaptively partition sentence groups to reduce redundancy. To overcome these limitations, we propose MRGSEM-Sum, an unsupervised multi-document summarization framework based on multi-relational graphs and structural entropy minimization. Specifically, we construct a multi-relational graph that integrates semantic and discourse relations between sentences, comprehensively modeling the intricate and dynamic connections among sentences across documents. We then apply a two-dimensional structural entropy minimization algorithm for clustering, automatically determining the optimal number of clusters and effectively organizing sentences into coherent groups. Finally, we introduce a position-aware compression mechanism to distill each cluster, generating concise and informative summaries. Extensive experiments on four benchmark datasets (Multi-News, DUC-2004, PubMed, and WikiSum) demonstrate that our approach consistently outperforms previous unsupervised methods and, in several cases, achieves performance comparable to supervised models and large language models. Human evaluation demonstrates that the summaries generated by MRGSEM-Sum exhibit high consistency and coverage, approaching human-level quality.