DETQUS: Decomposition-Enhanced Transformers for QUery-focused Summarization

📄 arXiv: 2503.05935v1 📥 PDF

作者: Yasir Khan, Xinlei Wu, Sangpil Youm, Justin Ho, Aryaan Shaikh, Jairo Garciga, Rohan Sharma, Bonnie J. Dorr

分类: cs.CL

发布日期: 2025-03-07

备注: 12 pages, 2 figures, Accepted to NAACL 2025 main conference

💡 一句话要点

DETQUS：利用分解增强Transformer，解决查询聚焦的表格摘要生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格摘要 查询聚焦 Transformer 表格分解 大型语言模型 编码器-解码器模型 自然语言生成

📋 核心要点

  1. 现有基于Transformer的表格摘要方法难以处理大型表格，面临token数量限制和推理复杂性挑战。
  2. DETQUS通过表格分解，利用大型语言模型选择性地缩减表格，保留查询相关信息，提高处理效率。
  3. 实验结果表明，DETQUS在ROUGE-L指标上优于现有最佳模型REFACTOR，证明了其有效性。

📝 摘要（中文）

本文提出DETQUS（Decomposition-Enhanced Transformers for QUery-focused Summarization），一个用于查询聚焦的表格摘要生成的系统。该任务旨在根据用户查询，从表格数据中合成摘要。传统基于Transformer的方法由于token数量限制和大型表格推理的复杂性而面临挑战。DETQUS通过结合表格分解和微调的编码器-解码器模型来提高摘要准确性。DETQUS采用大型语言模型选择性地缩减表格大小，仅保留与查询相关的列，同时保留关键信息。这种策略能够更有效地处理大型表格并提高摘要质量。该方法配备了基于表格的问答模型Omnitab，实现了0.4437的ROUGE-L得分，优于先前的state-of-the-art REFACTOR模型（ROUGE-L：0.422）。这些结果表明DETQUS是查询聚焦的表格摘要生成的可扩展且有效的解决方案，为更复杂的架构提供了一种结构化的替代方案。

🔬 方法详解

问题定义：论文旨在解决查询聚焦的表格摘要生成问题。现有方法，特别是基于Transformer的模型，在处理大型表格时面临挑战，主要体现在两个方面：一是token数量的限制，Transformer模型有最大输入长度限制，大型表格容易超出限制；二是推理的复杂性，大型表格包含大量信息，模型难以有效提取与查询相关的信息并生成准确的摘要。

核心思路：论文的核心思路是利用表格分解来简化输入，从而提高摘要生成的效率和准确性。具体来说，DETQUS使用大型语言模型来选择性地缩减表格大小，只保留与用户查询相关的列。这样既减少了输入token的数量，又突出了与查询相关的信息，使得模型更容易生成高质量的摘要。

技术框架：DETQUS的整体框架包含以下几个主要阶段：1) 查询接收：系统接收用户输入的查询。2) 表格分解：使用大型语言模型（LLM）分析查询和表格，选择与查询相关的列，生成缩减后的表格。3) 编码-解码：使用微调的编码器-解码器模型（基于Transformer）对缩减后的表格进行编码，并生成摘要。4) 摘要输出：系统输出生成的摘要。论文中使用了Omnitab作为表格问答模型辅助表格分解。

关键创新：DETQUS的关键创新在于将表格分解与Transformer模型相结合。传统的表格摘要方法通常直接将整个表格输入到Transformer模型中，而DETQUS通过表格分解，预先过滤掉与查询无关的信息，从而降低了模型的计算负担，提高了摘要生成的质量。这种分解增强的方法使得模型能够更好地聚焦于与查询相关的信息，从而生成更准确、更相关的摘要。

关键设计：DETQUS的关键设计包括：1) 使用大型语言模型进行表格分解的具体prompt工程，如何设计prompt以准确选择相关列是关键。2) 编码器-解码器模型的微调策略，包括选择合适的预训练模型、设计合适的损失函数等。3) Omnitab模型的具体使用方式，如何将其集成到表格分解流程中。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

DETQUS在查询聚焦的表格摘要生成任务上取得了显著的性能提升。实验结果表明，DETQUS在ROUGE-L指标上达到了0.4437，超越了先前的state-of-the-art模型REFACTOR（ROUGE-L：0.422）。这一结果表明，通过表格分解增强Transformer模型，可以有效地提高摘要生成的准确性和质量。此外，DETQUS的结构化设计使其具有良好的可扩展性，能够处理更大规模的表格数据。

🎯 应用场景

DETQUS在多个领域具有广泛的应用前景，例如：智能客服、金融报告生成、医疗数据分析等。在智能客服中，可以根据用户的问题快速从产品信息表格中提取相关信息并生成简洁的回答。在金融领域，可以自动生成财务报表的摘要，帮助投资者快速了解公司业绩。在医疗领域，可以从病历表格中提取关键信息，辅助医生进行诊断和治疗。该研究的未来影响在于提高信息检索和摘要的效率，降低人工成本，并为用户提供更便捷的信息服务。

📄 摘要（原文）

Query-focused tabular summarization is an emerging task in table-to-text generation that synthesizes a summary response from tabular data based on user queries. Traditional transformer-based approaches face challenges due to token limitations and the complexity of reasoning over large tables. To address these challenges, we introduce DETQUS (Decomposition-Enhanced Transformers for QUery-focused Summarization), a system designed to improve summarization accuracy by leveraging tabular decomposition alongside a fine-tuned encoder-decoder model. DETQUS employs a large language model to selectively reduce table size, retaining only query-relevant columns while preserving essential information. This strategy enables more efficient processing of large tables and enhances summary quality. Our approach, equipped with table-based QA model Omnitab, achieves a ROUGE-L score of 0.4437, outperforming the previous state-of-the-art REFACTOR model (ROUGE-L: 0.422). These results highlight DETQUS as a scalable and effective solution for query-focused tabular summarization, offering a structured alternative to more complex architectures.