Can Large Language Models Invent Algorithms to Improve Themselves?: Algorithm Discovery for Recursive Self-Improvement through Reinforcement Learning

📄 arXiv: 2410.15639v5 📥 PDF

作者: Yoichi Ishibashi, Taro Yano, Masafumi Oyamada

分类: cs.CL

发布日期: 2024-10-21 (更新: 2025-06-10)

备注: Accepted at NAACL 2025 (main)

💡 一句话要点

Self-Developing：LLM自主发现算法实现递归自提升，超越人工设计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 算法发现 递归自提升 强化学习 直接偏好优化

📋 核心要点

  1. 现有LLM的改进方法依赖于人工设计，限制了其潜在的自主优化能力。
  2. Self-Developing框架使LLM能够自主发现、实现和改进自身的算法，实现递归自提升。
  3. 实验表明，自主发现的算法在数学推理任务上超越了人工设计的算法，并具有良好的泛化能力。

📝 摘要（中文）

大型语言模型(LLM)的能力显著，但其改进方法仍受限于人类设计。本文提出Self-Developing框架，使LLM能够自主发现、实现和改进自身的算法。该方法采用迭代循环，种子模型生成算法候选作为可执行代码，评估其有效性，并使用直接偏好优化(Direct Preference Optimization)递归改进日益复杂的改进策略。通过模型合并这一实用技术验证了该框架。Self-Developing成功发现了优于现有的人工设计算法的新型合并算法。在数学推理基准测试中，自主发现的算法将种子模型的GSM8k性能提高了6%，超过了人工设计方法（如Task Arithmetic）4.3%。这些算法表现出强大的泛化能力，在未重新优化的情况下，在领域外模型上实现了7.4%的收益。研究结果表明，LLM可以超越其训练，发明真正新颖的优化技术。这种能力代表着LLM不仅解决问题，而且自主开发自身进步方法的新时代的开端。

🔬 方法详解

问题定义：现有大型语言模型（LLM）的改进方法主要依赖于人工设计，例如人工设计的损失函数、优化算法以及数据增强策略。这些方法虽然有效，但可能无法充分挖掘LLM的潜力，限制了其自主学习和进化的能力。因此，如何让LLM能够自主发现并改进自身的算法，成为了一个重要的研究问题。

核心思路：Self-Developing的核心思路是让LLM扮演“算法发明家”的角色，通过迭代的方式，让LLM生成、评估和改进自身的算法。具体来说，首先使用一个种子模型生成算法候选，然后评估这些算法的有效性，最后使用直接偏好优化（Direct Preference Optimization，DPO）来训练LLM，使其能够生成更好的算法。这种迭代的过程使得LLM能够逐步提升自身的算法设计能力。

技术框架：Self-Developing框架包含以下几个主要模块：1) 算法生成模块：使用LLM生成算法候选，这些算法以可执行代码的形式存在。2) 算法评估模块：评估生成的算法在特定任务上的性能。3) 偏好学习模块：使用DPO算法，根据算法的性能，训练LLM，使其能够生成更好的算法。整个流程是一个迭代的过程，LLM不断生成、评估和改进自身的算法。

关键创新：Self-Developing最重要的创新点在于它使LLM能够自主发现算法，而无需人工干预。与传统的算法设计方法相比，Self-Developing能够探索更广阔的算法空间，发现人工难以设计的算法。此外，Self-Developing还能够根据任务的特点，自主调整算法，从而实现更好的性能。

关键设计：在算法生成模块中，使用了代码生成技术，使得LLM能够生成可执行的算法代码。在算法评估模块中，使用了多种评估指标，以全面评估算法的性能。在偏好学习模块中，使用了DPO算法，该算法能够有效地学习人类的偏好，从而训练LLM生成更好的算法。此外，还使用了模型合并技术，将不同的模型合并成一个更强大的模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Self-Developing框架能够成功发现优于人工设计的算法。在数学推理任务GSM8k上，自主发现的算法将种子模型的性能提高了6%，超过了人工设计方法Task Arithmetic 4.3%。更重要的是，这些算法具有良好的泛化能力，在未重新优化的情况下，在领域外模型上实现了7.4%的收益。这些结果表明，LLM具有自主发现和改进算法的潜力。

🎯 应用场景

Self-Developing框架具有广泛的应用前景，可以应用于各种需要算法优化的领域，例如自然语言处理、计算机视觉、机器人等。该框架可以帮助研究人员快速发现和改进算法，从而提高模型的性能和效率。此外，Self-Developing还可以用于自动化机器学习（AutoML），实现模型的自动设计和优化，降低机器学习的门槛。

📄 摘要（原文）

Large Language Models (LLMs) have achieved remarkable capabilities, yet their improvement methods remain fundamentally constrained by human design. We present Self-Developing, a framework that enables LLMs to autonomously discover, implement, and refine their own improvement algorithms. Our approach employs an iterative cycle where a seed model generates algorithmic candidates as executable code, evaluates their effectiveness, and uses Direct Preference Optimization to recursively improve increasingly sophisticated improvement strategies. We demonstrate this framework through model merging, a practical technique for combining specialized models. Self-Developing successfully discovered novel merging algorithms that outperform existing human-designed algorithms. On mathematical reasoning benchmarks, the autonomously discovered algorithms improve the seed model's GSM8k performance by 6\% and exceed human-designed approaches like Task Arithmetic by 4.3\%. Remarkably, these algorithms exhibit strong generalization, achieving 7.4\% gains on out-of-domain models without re-optimization. Our findings demonstrate that LLMs can transcend their training to invent genuinely novel optimization techniques. This capability represents a crucial step toward a new era where LLMs not only solve problems but autonomously develop the methodologies for their own advancement.