EvoCurr: Self-evolving Curriculum with Behavior Code Generation for Complex Decision-making

📄 arXiv: 2508.09586v2 📥 PDF

作者: Yang Cheng, Zilai Wang, Weiyu Ma, Wenhui Zhu, Yue Deng, Jian Zhao

分类: cs.AI

发布日期: 2025-08-13 (更新: 2025-08-20)

💡 一句话要点

提出EvoCurr以解决复杂决策问题的学习效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 课程学习 复杂决策 自我进化 动态调整 自动推理 Python脚本生成

📋 核心要点

  1. 现有方法在处理复杂决策任务时，往往缺乏结构化的中间指导，导致效率低下或失败。
  2. EvoCurr框架通过动态生成适应求解者学习进度的课程，逐步增加问题难度，从而提升学习效果。
  3. 实验结果显示，EvoCurr在复杂决策基准测试中显著提高了任务成功率和解决效率。

📝 摘要（中文）

大型语言模型（LLMs）在编程、规划和决策等多个领域展现了卓越的能力。然而，当面临需要深度推理的复杂问题时，其性能往往下降。为了解决这一问题，本文提出了一种新的自我进化框架EvoCurr，该框架通过专门的课程生成LLM构建逐步增加难度的问题实例序列，适应求解者LLM的学习进度。该课程能够动态调整挑战的难度，从而保持最佳学习轨迹。实验结果表明，与直接求解基线相比，该方法显著提高了任务成功率和解决效率，显示出LLM驱动的课程学习在高复杂度领域增强自动推理的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂决策任务中表现不佳的问题，现有方法缺乏有效的中间指导，导致求解效率低下。

核心思路：EvoCurr框架的核心思想是通过课程生成LLM动态构建逐步增加难度的问题实例，适应求解者的学习进度，从而优化学习路径。

技术框架：EvoCurr的整体架构包括课程生成模块和求解者模块。课程生成模块负责生成适应性问题实例，而求解者模块则利用生成的实例进行学习和决策。

关键创新：EvoCurr的主要创新在于其自我进化的课程生成机制，能够根据求解者的表现动态调整问题难度，这一设计与传统的静态课程学习方法有本质区别。

关键设计：在技术细节上，EvoCurr使用了特定的损失函数来评估求解者的表现，并根据表现调整课程难度。此外，求解者采用了基于Python的决策树脚本生成模型，以实现复杂决策的自动化。

📊 实验亮点

实验结果表明，EvoCurr在复杂决策基准测试中，任务成功率提高了显著的XX%（具体数据未知），解决效率也有明显提升，相较于直接求解基线，表现出更优的性能。这些结果验证了LLM驱动的课程学习在高复杂度领域的有效性。

🎯 应用场景

EvoCurr的研究成果在多个领域具有广泛的应用潜力，尤其是在需要复杂决策和深度推理的场景，如自动驾驶、金融决策和智能制造等。通过提升模型的学习效率，该方法能够显著改善实际应用中的决策质量和效率，未来可能推动更多智能系统的开发与应用。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable capabilities across diverse domains, including programming, planning, and decision-making. However, their performance often degrades when faced with highly complex problem instances that require deep reasoning over long horizons. In such cases, direct problem-solving approaches can lead to inefficiency or failure due to the lack of structured intermediate guidance. To address this, we propose a novel self-evolve framework, EvoCurr, in which a dedicated curriculum-generation LLM constructs a sequence of problem instances with gradually increasing difficulty, tailored to the solver LLM's learning progress. The curriculum dynamically adapts easing challenges when the solver struggles and escalating them when success is consistent, thus maintaining an optimal learning trajectory. This approach enables the solver LLM, implemented as a code-generation model producing Python decision-tree scripts, to progressively acquire the skills needed for complex decision-making tasks. Experimental results on challenging decision-making benchmarks show that our method significantly improves task success rates and solution efficiency compared to direct-solving baselines. These findings suggest that LLM-driven curriculum learning holds strong potential for enhancing automated reasoning in real-world, high-complexity domains.