Highlight-Then-Summarize: Learning to Compress Evidence for Long-Context Understanding

📄 arXiv: 2609.31382v1 📥 PDF

作者: Zhaoyuan Xia, Qinghongbing Xie, Yung Xiang Hue, Jianguang Jiang, Gaofeng Lu, Zhenyu Jiao, Xing Yuan, Dai Dai, Tong Mo, Long Zeng

分类: cs.CL, cs.AI

发布日期: 2026-09-25

备注: 23 pages, 13 figures. Zhaoyuan Xia and Qinghongbing Xie contributed equally. Corresponding authors: Dai Dai, Tong Mo, and Long Zeng. Code and data are available at https://github.com/X-Luffy/Highlight-Then-Summarize

💡 一句话要点

提出Highlight-Then-Summarize以解决长文本理解中的证据稀疏问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本理解 证据选择 摘要生成 大型语言模型 压缩推理

📋 核心要点

  1. 长文本理解面临的问题是相关证据稀疏且分散，现有方法难以有效提取和整合信息。
  2. 本文提出的H2S方法通过先识别相关证据，再生成紧凑摘要，提升了推理效率和准确性。
  3. 实验表明，H2S-14B在多个任务中表现优异，尤其在证据摘要质量和资源利用率方面具有显著提升。

📝 摘要（中文）

长文本理解要求大型语言模型（LLMs）在冗长的文档、对话和代码中进行推理，但相关证据往往稀疏且分散在大量无关和冗余内容中。本文提出Highlight-Then-Summarize（H2S）方法，采用压缩-再推理的范式，首先识别源基础、问题相关的证据，然后将其整合为紧凑的、基于问题的摘要，最后生成最终答案。为训练该行为，构建了H2S-Dataset，包含6647个示例，平均上下文长度为43.9K个标记，并引入H2S-RL，为证据选择和摘要构建提供过程级奖励。实验结果表明，H2S-14B在共享的128K输入和4K输出预算下，平均得分为32.60，超越Qwen3.8-27B 10.17分，并在评估的开源模型中取得最佳结果。

🔬 方法详解

问题定义：本文旨在解决长文本理解中证据稀疏和冗余信息干扰的问题。现有方法往往无法有效提取与任务相关的证据，导致推理效果不佳。

核心思路：H2S方法的核心在于先进行证据的选择和整合，再生成基于问题的摘要，从而提高推理的准确性和效率。这样的设计使得模型能够聚焦于最相关的信息，减少冗余内容的干扰。

技术框架：H2S的整体架构包括两个主要阶段：第一阶段是证据选择，模型识别与问题相关的证据；第二阶段是摘要生成，将选定的证据整合为紧凑的摘要，最终生成答案。

关键创新：H2S的主要创新在于引入了压缩-再推理的范式，通过明确的证据选择和摘要构建过程，显著提升了长文本推理的效果。这与传统方法的直接推理方式形成鲜明对比。

关键设计：在H2S-RL中，设计了过程级奖励机制，鼓励模型在证据选择和摘要构建中做出更优决策。此外，H2S-Dataset的构建也为模型训练提供了丰富的多样性和挑战性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

H2S-14B在共享的128K输入和4K输出预算下，平均得分达到32.60，超越Qwen3.8-27B 10.17分，显示出其在长文本理解中的卓越性能。此外，H2S-14B在证据摘要质量评分上也取得了最高分，证明了其在信息整合方面的优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在法律文书分析、医疗记录解读和技术文档总结等领域。通过提高长文本理解的效率和准确性，H2S方法能够帮助专业人员更快速地获取关键信息，提升决策质量。未来，该方法还可能扩展到其他需要处理长文本的任务，如自动问答和信息检索等。

📄 摘要（原文）

Long-context understanding requires large language models (LLMs) to reason over lengthy documents, conversations, and code, yet task-relevant evidence is often sparse and scattered amid substantial irrelevant and redundant content. We propose Highlight-Then-Summarize (H2S), a compress-then-reason paradigm that first identifies source-grounded, question-relevant evidence and then integrates it into a compact, question-conditioned summary before producing the final answer. To train this behavior, we construct H2S-Dataset, comprising 6,647 examples from 11 benchmark families with an average context length of 43.9K tokens, and introduce H2S-RL, which provides process-level rewards for evidence selection and summary construction in addition to final-answer correctness. We evaluate on H2S-Bench, a seven-task long-context suite. Under a shared 128K input and 4K output budget, H2S-14B achieves an average score of 32.60, outperforming Qwen3.8-27B by 10.17 points and obtaining the strongest overall result among the evaluated open-source models. H2S-14B also achieves the highest Evidence-Summary Quality score and retains 97.1% of its 16K-budget performance with only a 4K output budget. These results show that explicitly selecting and integrating evidence improves long-context reasoning while enabling more compact generation.