Large Language Models Can Self-Improve in Long-context Reasoning

📄 arXiv: 2411.08147v1 📥 PDF

作者: Siheng Li, Cheng Yang, Zesen Cheng, Lemao Liu, Mo Yu, Yujiu Yang, Wai Lam

分类: cs.CL, cs.AI

发布日期: 2024-11-12

备注: Project Page: https://github.com/SihengLi99/SEALONG

💡 一句话要点

提出自我改进方法以解决长上下文推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 自我改进 大型语言模型 最小贝叶斯风险 监督微调 偏好优化 自然语言处理

📋 核心要点

  1. 现有方法在长上下文推理中依赖人类专家或先进模型生成合成数据，限制了模型的自我改进能力。
  2. 本文提出的方法 extit{ours}通过采样多个输出并使用最小贝叶斯风险评分，实现了LLMs的自我改进。
  3. 实验结果显示， extit{ours}在Llama-3.1-8B-Instruct上实现了4.2分的绝对提升，超越了以往依赖专家数据的方法。

📝 摘要（中文）

大型语言模型（LLMs）在处理长上下文方面取得了显著进展，但在长上下文推理上仍面临挑战。现有方法通常依赖于人类专家或先进模型（如GPT-4）进行的合成数据微调，限制了进一步的发展。为了解决这一问题，本文研究了LLMs在长上下文推理中的自我改进潜力，并提出了一种专门为此设计的方法 extit{ours}。该方法通过为每个问题采样多个输出，使用最小贝叶斯风险进行评分，然后基于这些输出应用监督微调或偏好优化。大量实验表明， extit{ours}在多个领先LLM上表现出色，Llama-3.1-8B-Instruct的绝对提升达到4.2分。此外， extit{ours}的性能优于依赖人类专家或先进模型生成的数据的先前方法。我们期待这项工作为长上下文场景中的自我改进技术开辟新途径，这对LLMs的持续进步至关重要。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长上下文推理中的不足，现有方法依赖于人类专家或先进模型生成的合成数据，限制了模型的自我改进能力。

核心思路：论文提出的方法 extit{ours}通过自我生成多个输出并进行评分，进而实现模型的自我改进，避免了对外部数据的依赖。

技术框架：该方法的整体架构包括三个主要模块：输出采样、评分机制和优化过程。首先为每个问题生成多个输出，然后使用最小贝叶斯风险对这些输出进行评分，最后基于评分结果进行监督微调或偏好优化。

关键创新：最重要的技术创新在于引入了自我生成输出的机制，使得LLMs能够在没有外部数据的情况下进行自我改进，这与传统依赖外部数据的方法本质上不同。

关键设计：在实现过程中，采用了最小贝叶斯风险作为评分标准，确保了输出的质量和有效性。此外，优化过程中结合了监督微调和偏好优化的策略，以提升模型的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明， extit{ours}在Llama-3.1-8B-Instruct上实现了4.2分的绝对提升，显著优于以往依赖人类专家或先进模型生成的数据的方法。这一成果展示了自我改进在长上下文推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过提升LLMs在长上下文推理中的能力，能够更好地支持复杂的任务，如长篇文章理解和多轮对话，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have achieved substantial progress in processing long contexts but still struggle with long-context reasoning. Existing approaches typically involve fine-tuning LLMs with synthetic data, which depends on annotations from human experts or advanced models like GPT-4, thus restricting further advancements. To address this issue, we investigate the potential for LLMs to self-improve in long-context reasoning and propose \ours, an approach specifically designed for this purpose. This approach is straightforward: we sample multiple outputs for each question, score them with Minimum Bayes Risk, and then apply supervised fine-tuning or preference optimization based on these outputs. Extensive experiments on several leading LLMs demonstrate the effectiveness of \ours, with an absolute improvement of $4.2$ points for Llama-3.1-8B-Instruct. Furthermore, \ours achieves superior performance compared to prior approaches that depend on data produced by human experts or advanced models. We anticipate that this work will open new avenues for self-improvement techniques in long-context scenarios, which are essential for the continual advancement of LLMs.