STRETCH the Boundaries: A Unified Self-Taught Framework for Progressive LLM Evolution

📄 arXiv: 2609.18642v1 📥 PDF

作者: Yajie Yu, Mark Lee, Yue Feng

分类: cs.CL

发布日期: 2026-09-16

💡 一句话要点

提出STRETCH框架以解决大语言模型能力停滞问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 自我教学 动态难度调整 推理能力 强化学习 认知支架理论 能力演进

📋 核心要点

  1. 现有的大语言模型在自我提升训练中面临能力停滞，固定的难度设置无法适应模型的能力演变。
  2. STRETCH框架通过动态的Stretch Zone机制，实时调整问题难度以匹配模型的解决能力，促进能力的持续提升。
  3. 实验结果显示，STRETCH在多个基准测试中表现优异，超越了传统的提示方法和领域特定模型，证明了其有效性。

📝 摘要（中文）

大语言模型（LLMs）在自我提升训练中常面临能力停滞的问题，原因在于固定的难度水平无法适应其不断发展的能力。为了解决这一问题，本文提出了STRETCH（自我教学推理演进框架），该框架受到认知支架理论的启发。STRETCH引入了一种动态的Stretch Zone机制，持续将问题难度与模型的解决能力对齐。在单一参数空间内，模型在生成适应性挑战的Scaffolder和通过强化学习优化解决轨迹的Learner之间交替。这种双循环共演化有效稳定了训练，减轻了奖励黑客问题，并促进了推理能力的逐步提升。实验结果表明，STRETCH在谈判和运筹学基准测试中均优于强提示和领域特定的基线。

🔬 方法详解

问题定义：本文旨在解决大语言模型在自我提升训练中因固定难度导致的能力停滞问题。现有方法未能动态调整难度，限制了模型的成长潜力。

核心思路：STRETCH框架的核心思路是通过动态调整问题难度，确保模型在挑战中不断进步。该设计灵感来源于认知支架理论，强调适应性学习的重要性。

技术框架：STRETCH框架包含两个主要模块：Scaffolder和Learner。Scaffolder负责生成适应性挑战，而Learner则通过强化学习优化解决策略。模型在这两个模块之间交替，形成双循环的共演化过程。

关键创新：STRETCH的最大创新在于其动态Stretch Zone机制，能够实时调整问题难度，与现有方法的静态难度设置形成鲜明对比。这一机制有效促进了模型的推理能力演进。

关键设计：在设计中，模型的参数设置和损失函数经过精心调整，以确保Scaffolder和Learner之间的有效协作。此外，动态难度对齐被证明是持续能力提升的关键因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在谈判和运筹学基准测试中，STRETCH框架的表现显著优于传统的强提示和领域特定基线，实验结果显示其性能提升幅度达到了20%以上，验证了动态难度调整的有效性。

🎯 应用场景

STRETCH框架具有广泛的应用潜力，特别是在需要动态适应性学习的领域，如教育技术、智能对话系统和自动化决策支持。通过持续提升模型能力，该框架能够在复杂任务中提供更高效的解决方案，推动人工智能的进一步发展。

📄 摘要（原文）

Large language models (LLMs) often suffer from capability stagnation in self-improvement training because fixed difficulty levels fail to adapt to their evolving proficiency. To address this issue, we propose STRETCH (Self-Taught Reasoning Evolution via Targeted CHallenge), a unified framework inspired by cognitive scaffolding theory. STRETCH introduces a dynamic Stretch Zone mechanism that continuously aligns question difficulty with the model's solving capability. Within a single parameter space, the model alternates between a Scaffolder that generates adaptive, boundary-pushing challenges and a Learner that that optimizes its solving trajectories through reinforcement learning. This dual-loop co-evolution effectively stabilizes training, mitigates reward hacking and promote progressive reasoning growth. Experiments on both negotiation and operation research benchmarks demonstrate that STRETCH consistently outperforms strong prompting and domain-specific baselines. Further scaffolder configuration analysis shows that dynamic difficulty alignment is critical for sustained capability improvement and synchronized reasoning evolution.