Language Models Learn to Improve Language Models

📄 arXiv: 2610.23344v1 📥 PDF

作者: Minhua Lin, Zijun Wang, Zewen Liu, Zhaotian Weng, Bing He, Zhan Shi, Benoit Dumoulin, Xiang Zhang, Suhang Wang, Hanqing Lu

分类: cs.CL, cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出LM2LM以解决语言模型自我改进的反馈挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 自我改进 强化学习 实验反馈 模型优化 数据生成成本 研究世界模型

📋 核心要点

  1. 现有方法在利用真实反馈训练语言模型改进能力时，面临高昂的计算成本和反馈不可靠的问题。
  2. LM2LM通过强化学习训练语言模型生成有效的改进提案，并使用冻结的语言模型作为奖励模型以提供可扩展的反馈。
  3. 实验结果显示，LM2LM使Qwen3.8-27B在多个开发环境中超越了GPT-6-sol，并且数据生成成本降低了33%。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地用于自动化AI研究，包括语言模型（LM）开发，提供了递归自我改进的潜在路径。然而，将实验反馈转化为学习能力以提出有效改进面临两个挑战：首先，使用真实反馈训练这种能力成本高昂；其次，替代反馈在策略优化时可能不可靠。为了解决这些问题，本文提出了LM2LM，通过强化学习（RL）训练LLMs生成有效的LM改进提案。我们使用一个冻结的语言模型作为奖励模型，以提供可扩展的反馈，并定期执行高排名的提案以维护反馈的可靠性。实验结果表明，LM2LM使Qwen3.8-27B在多个环境中超越了GPT-6-sol，同时数据生成成本降低了33%。

🔬 方法详解

问题定义：本文旨在解决如何有效利用实验反馈来训练语言模型改进能力的问题。现有方法在真实反馈训练中面临高昂的计算成本和反馈不可靠的挑战。

核心思路：LM2LM的核心思路是通过强化学习训练语言模型生成有效的改进提案，并使用一个冻结的语言模型作为奖励模型，以提供可扩展的反馈，从而降低成本和提高反馈的可靠性。

技术框架：整体架构包括两个主要模块：首先是生成提案的语言模型，其次是作为奖励模型的研究世界模型（RWM）。RWM根据真实实验记录预测提案的收益，并在反馈过程中不断更新。

关键创新：LM2LM的主要创新在于使用RWM作为奖励模型，解决了传统方法中反馈不可靠的问题，并通过定期执行高排名提案来增强反馈的有效性。

关键设计：在设计中，LM2LM采用了强化学习的框架，设置了适当的损失函数以优化提案生成，同时确保RWM的上下文中包含最新的实验结果，以提高反馈的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，LM2LM使Qwen3.8-27B在八个自回归和扩散语言模型开发环境中超越了GPT-6-sol，尽管后者在上下文中提供了300个真实实验记录。此外，LM2LM的实现使数据生成成本降低了33%，显示出显著的经济效益。

🎯 应用场景

该研究的潜在应用领域包括自动化AI研究、语言模型开发和优化等。通过提高语言模型的自我改进能力，能够加速模型的迭代与创新，推动自然语言处理技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to automate AI research, including language-model (LM) development, offering a potential path toward recursive self-improvement. However, turning experimental feedback into a learned ability to propose effective improvements across models faces two challenges. First, training such an ability with real feedback is expensive: reinforcement learning (RL) requires evaluating tens of thousands of proposals, each potentially requiring a full model-training run. Even at ten GPU-hours per run, reward collection alone would consume hundreds of thousands of GPU-hours, motivating a cheaper surrogate. Second, surrogate feedback can become unreliable as policy optimization favors overestimated proposals when the proposal distribution shifts. To address these challenges, we propose LM2LM, which trains LLMs with RL to generate effective LM improvement proposals. To provide scalable feedback, we use a research world model (RWM), a frozen LLM that predicts proposal gains from real experimental records provided in context, as the reward model for RL. To maintain feedback reliability, we periodically execute current-policy proposals ranked highly by the RWM and add their measured outcomes to its context. Across eight autoregressive and diffusion LM development environments, real-execution evaluations on held-out tasks show that LM2LM enables Qwen3.8-27B to outperform GPT-6-sol, even when GPT-6-sol is given 300 real experimental records in context, while requiring 33% lower data-generation cost. LM2LM also generalizes to a model family unseen during training.