Ladders of Thought: A Self-Evolving Curriculum of Progressively Simplified Reasoning Traces

📄 arXiv: 2609.25643v1 📥 PDF

作者: Minghui Liu, Thomas Magelinski, Dehao Yuan, Qi Yu, Furong Huang

分类: cs.AI, cs.LG

发布日期: 2026-09-22

💡 一句话要点

提出Ladders-of-Thought框架以增强小型语言模型的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理能力 自适应课程 知识蒸馏 小型语言模型 逐步重写 多跳推理 数学推理

📋 核心要点

  1. 现有的小型和中型语言模型在推理任务中表现脆弱，知识蒸馏未能有效解决这一问题。
  2. Ladders-of-Thought框架通过生成更简单的推理问题变体和自适应训练策略来增强推理能力。
  3. 在数学和多跳推理任务中，LoT显著提高了模型性能，尤其在算术任务上提升幅度达到32个百分点。

📝 摘要（中文）

大型语言模型在推理方面表现优异，但小型和中型模型即使经过知识蒸馏仍然存在脆弱性。本文提出了Ladders-of-Thought（LoT）框架，通过结合逐步问题重写和自我演化课程来改善推理能力。LoT自动生成语义上忠实但更简单的推理问题变体，并使用基于步骤的度量将其组织成难度桶，采用自我演化的带状调度器进行自适应训练。在数学和多跳推理两个领域的评估中，LoT在不同模型家族的1-8B模型上均优于知识蒸馏，尤其在算术任务上取得显著提升，展示了逐步重写与自适应课程结合的有效性。

🔬 方法详解

问题定义：本文旨在解决小型和中型语言模型在推理任务中的脆弱性，现有的知识蒸馏方法未能有效提升其推理能力。

核心思路：Ladders-of-Thought框架通过生成语义上忠实但更简单的推理问题变体，并结合自我演化的课程调度，来逐步提升模型的推理能力。

技术框架：LoT的整体架构包括问题重写模块、难度分类模块和自我演化调度器。问题重写模块生成不同难度的推理问题，难度分类模块将问题组织成难度桶，自我演化调度器根据模型的表现自适应分配训练任务。

关键创新：LoT的核心创新在于结合了逐步重写和自适应课程调度，这种设计使得模型能够在训练过程中逐渐适应更复杂的推理任务，与传统的静态课程相比具有更高的灵活性和有效性。

关键设计：在模型训练中，LoT使用了基于步骤的度量来评估问题难度，并通过带状调度器动态调整训练任务的分配，确保模型在适当的难度下进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Ladders-of-Thought框架在算术任务上提升了32个百分点，在SVAMP任务上提升了25个百分点，并在多跳推理任务中也取得了显著的提升，如QASC任务上提升了16个百分点。这些结果表明LoT在推理能力上的显著改进。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动推理等。通过增强小型语言模型的推理能力，LoT可以在资源受限的环境中提供更强大的智能支持，推动自然语言处理技术的普及与应用。

📄 摘要（原文）

Large language models (LLMs) excel at reasoning when scaled to hundreds of billions of parameters, but small- and mid-scale models remain brittle reasoners even with knowledge distillation (KD). We present Ladders-of-Thought (LoT), a framework that improves reasoning by combining progressive question rewrites with a self-evolving curriculum. LoT automatically generates semantically faithful but easier variants of reasoning problems, organizes them into difficulty buckets using step-based measures, and employs a self-evolving bandit scheduler to allocate training adaptively. Evaluated on two reasoning domains, math and multi-hop reasoning, across 1-8B models from different families, LoT consistently improves over KD. It delivers large gains on arithmetic tasks (e.g., +32 percentage points on AddSub, +25pp on SVAMP), +2-8pp improvements on in-domain test splits, and strong though dataset-dependent benefits on multi-hop reasoning (e.g., +16pp on QASC, +25pp on StrategyQA). LoT also converges faster than staged curricula, highlighting the value of adaptive progression. These results show that progressive rewrites coupled with adaptive curricula provide a simple yet effective recipe for strengthening reasoning in smaller LLMs.