LongCrafter: Towards Diverse Long-Context Understanding via Evidence-Graph-Guided Instruction Synthesis

📄 arXiv: 2607.06160v1 📥 PDF

作者: Chenhao Yuan, Yinhao Xu, Shuwen Xu, Xizhi Yang, Jiaxiang Liu, Chenxi Zhou, Shaoping Huang, Haolin Ren, Pengfei Cao, Jun Zhao, Kang Liu

分类: cs.CL, cs.AI

发布日期: 2026-07-07

💡 一句话要点

提出LongCrafter以解决长上下文理解的多样性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文理解 监督微调 任务分类法 证据图 指令生成 自然语言处理 模型微调

📋 核心要点

  1. 现有方法在长上下文理解方面存在任务覆盖面窄、指令难度不足和缺乏可信监督等问题。
  2. LongCrafter通过结合分层任务分类法和基于证据的管道，构建任务对齐的长上下文，生成基于证据的指令-响应对。
  3. 实验结果显示，基于LongCrafter数据微调的模型在多个基准测试中表现优异，尤其在高难度任务上有显著提升。

📝 摘要（中文）

合成长上下文监督微调（SFT）数据是一种可扩展的方法，用于增强大型语言模型（LLMs）的长上下文理解。然而，现有方法存在三大局限：任务覆盖面窄、指令难度不足以及缺乏可信监督。为此，本文提出了LongCrafter，一个结构化合成框架，结合了分层任务分类法和基于证据的管道。该分类法将长上下文理解组织为局部/浅层和全局/深层，生成32种细粒度任务类型，作为全局生成先验。在此分类法指导下，LongCrafter构建任务对齐的长上下文，将其分解为显式证据图，建模跨段落依赖关系，并生成严格基于定位证据区间的指令-响应对，确保可控的难度和可信的推理。基于LongCrafter数据微调的模型在LongBench、LongBench v2和LooGLE上超越了所有SFT基线，甚至超越了官方后训练模型，尤其在高难度任务上表现出最大的提升。

🔬 方法详解

问题定义：本文旨在解决现有长上下文理解方法在任务覆盖、指令难度和监督信度方面的不足，尤其是在高难度任务中的表现。

核心思路：LongCrafter的核心思路是通过分层任务分类法和证据图构建，生成多样化且难度可控的长上下文数据，以增强模型的理解能力。

技术框架：LongCrafter的整体架构包括任务分类、长上下文构建、证据图生成和指令-响应对生成四个主要模块。首先，利用分类法组织任务，然后构建与任务对齐的长上下文，接着生成证据图，最后生成基于证据的指令-响应对。

关键创新：LongCrafter的关键创新在于结合了分层任务分类法与证据图生成，确保生成的数据不仅多样化且具有可追溯性，与现有方法相比，显著提升了长上下文理解的能力。

关键设计：在设计上，LongCrafter采用了明确的任务类型分类，设置了基于证据的损失函数，并通过显式证据图来建模段落间的依赖关系，这些设计确保了生成数据的质量和模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于LongCrafter数据微调的模型在LongBench、LongBench v2和LooGLE上超越了所有SFT基线，尤其在高难度任务上表现出最大的提升，具体提升幅度达到未知，显示出其在长上下文理解方面的显著优势。

🎯 应用场景

LongCrafter的研究成果可广泛应用于自然语言处理领域，尤其是在需要长上下文理解的任务中，如文本摘要、问答系统和对话生成等。通过增强模型的长上下文理解能力，未来可能推动更智能的对话系统和信息检索技术的发展。

📄 摘要（原文）

Synthesizing long-context supervised fine-tuning (SFT) data is a scalable way to enhance the long-context understanding of large language models (LLMs), yet existing approaches share three limitations: narrow task coverage, insufficient instruction difficulty, and a lack of faithfulness supervision. We propose \textbf{LongCrafter}, a structured synthesis framework that couples a hierarchical task taxonomy with an evidence-grounded pipeline. The taxonomy organizes long-context understanding into local/shallow and global/deep levels and yields 32 fine-grained task types that serve as a global generative prior. Guided by this taxonomy, LongCrafter constructs task-aligned long contexts, decomposes them into explicit evidence graphs that model cross-paragraph dependencies, and generates instruction--response pairs strictly grounded in the located evidence spans, ensuring both controllable difficulty and faithful, traceable reasoning. Models fine-tuned on LongCrafter data outperform all SFT baselines and even the official post-trained models on LongBench, LongBench~v2, and LooGLE across both Qwen2.5-7B and LLaMA-3.1-8B, with the largest gains on high-difficulty tasks. Further analysis shows that LongCrafter data is more diverse and better spread across difficulty levels, and that the trained models locate evidence robustly regardless of position, effectively mitigating the ``lost in the middle'' problem.