LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data

📄 arXiv: 2610.30132v1 📥 PDF

作者: Zhennan Wan, Jianfei Chen

分类: cs.CL, cs.LG

发布日期: 2026-10-21

备注: Code and data are available at https://github.com/zhennan1/LongZero

💡 一句话要点

提出LongZero以解决长上下文推理数据稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 强化学习 自我生成 多文档处理 自然语言处理 信息检索 智能问答

📋 核心要点

  1. 现有的强化学习方法依赖于长且多样化的训练数据，而这些数据的获取成本高且稀缺。
  2. LongZero通过自我生成问题和答案，并将其扩展为长上下文，避免了对外部数据的依赖。
  3. 实验结果显示，LongZero在长上下文推理基准上超越了现有方法，具有良好的泛化能力。

📝 摘要（中文）

强化学习（RL）是一种有效提升大型语言模型（LLMs）长上下文推理能力的方法，但需要长、丰富、具有挑战性且可验证的训练数据。人工标注此类数据成本高昂，自然生成的数据稀缺，现有合成方法依赖外部语料或更强的教师模型，随着模型的增强，这些资源变得愈加难以获取。为此，本文提出了LongZero，一种无需外部数据即可提升LLM长上下文推理能力的方法。LongZero通过自我生成问题和答案及其支持证据的紧凑结构形式，进而扩展证据为长多文档上下文。实验结果表明，LongZero在多个长上下文推理基准上表现优异，超越了基线方法，展示了提升LLM长上下文推理的可行性和前景。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长上下文推理中对训练数据的依赖问题。现有方法通常需要大量的长文本数据，而这些数据的获取成本高且难以获得。

核心思路：LongZero的核心思路是让模型自我生成长上下文推理所需的问题和答案，而不是依赖外部数据。通过这种方式，模型能够在没有外部数据的情况下提升其推理能力。

技术框架：LongZero的整体架构包括两个主要阶段：首先，模型生成问题和答案及其支持证据的紧凑结构；其次，将这些证据扩展为长多文档上下文。整个过程结合了自我生成的多跳推理任务和多轮检索任务，并通过GRPO进行训练。

关键创新：LongZero的主要创新在于其无数据强化学习的实现，使得模型能够在没有外部数据的情况下进行长上下文推理。这与现有方法依赖外部语料的本质区别在于，LongZero完全依赖模型自身的生成能力。

关键设计：在LongZero中，模型的生成过程涉及到特定的参数设置和损失函数设计，以确保生成的内容既准确又具有逻辑性。此外，网络结构的设计也考虑了多文档信息的整合，以提升推理的有效性。

📊 实验亮点

实验结果表明，LongZero在五个长上下文推理基准上表现优异，相较于基于外部语料的强化学习方法，LongZero的性能提升显著，展示了其在真实任务中的良好泛化能力。

🎯 应用场景

LongZero的研究成果在多个领域具有潜在应用价值，包括自然语言处理、信息检索和智能问答系统等。通过提升长上下文推理能力，LLMs能够更好地理解复杂问题，提供更准确的答案，从而在实际应用中产生更大的影响。

📄 摘要（原文）

Reinforcement learning (RL) is an effective way to strengthen the long-context reasoning of large language models (LLMs), but it needs training data that are long, diverse, challenging, and verifiable. Human annotation of such data is expensive, naturally occurring data are too scarce to sustain RL, and existing synthesis methods depend on external corpora or stronger teacher models, which become harder to obtain as the trained models get stronger. Recently, RL from zero data, in which a model learns from tasks it proposes itself, has achieved excellent performance, but existing methods target short-context tasks. Therefore, we propose $\textbf{LongZero}$, a method that lets an LLM improve its own long-context reasoning without any external data. Instead of writing questions and answers over existing documents, LongZero first has the model synthesize the question and answer with its supporting evidence in a compact structured form, and only then separately expands the evidence into a long multi-document context. LongZero combines these self-written multi-hop reasoning tasks with self-written multi-round retrieval tasks and trains the model with GRPO. We evaluate LongZero on two LLMs across five long-context reasoning benchmarks and compare it with RL on data synthesized from external corpora. Experimental results show that LongZero can generalize to real tasks, and outperforms both baselines, suggesting a viable and promising path to improving long-context reasoning of LLMs.