Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration

📄 arXiv: 2505.20700v1 📥 PDF

作者: Yong Wu, Weihang Pan, Ke Li, Chen Binhui, Ping Li, Binbin Lin

分类: cs.CL

发布日期: 2025-05-27

💡 一句话要点

提出DART框架以解决小语言模型推理能力不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理能力对齐 小语言模型 动态适配 选择性模仿 自主探索 数据效率 模型训练

📋 核心要点

  1. 现有推理数据集通常为大型语言模型设计，导致小语言模型在直接应用时性能下降。
  2. 本文提出DART框架，通过选择性模仿和自主探索来适应小语言模型的推理能力。
  3. 实验结果显示，DART在多个基准测试中显著提高了小语言模型的泛化能力和数据效率。

📝 摘要（中文）

大型语言模型（LLMs）展现了卓越的推理能力，但将这种能力与小语言模型（SLMs）对齐仍然面临挑战，主要由于分布不匹配和模型容量有限。现有的推理数据集通常为强大的LLMs设计，直接应用于较弱的模型时性能下降。本文提出了一种新颖的数据适配框架——动态推理轨迹适配（DART），旨在弥合专家推理轨迹与多样化SLMs之间的能力差距。DART采用选择性模仿策略，通过解决方案模拟引导逐步适应性评估，当专家步骤超出学生能力时，学生会自主探索替代推理路径。我们在多个推理基准和模型规模上验证了DART，结果表明其在数据效率和泛化能力上显著优于静态微调。

🔬 方法详解

问题定义：本文解决的问题是如何有效地将大型语言模型的推理能力迁移到小语言模型上。现有方法在直接应用时，由于模型能力和数据集设计的差异，导致小语言模型的性能显著下降。

核心思路：DART框架的核心思想是通过选择性模仿和自主探索来适应小语言模型的推理能力，而不是简单地模仿专家的每一步。通过对每一步的适应性评估，DART能够引导小模型在能力范围内进行有效推理。

技术框架：DART的整体架构包括两个主要模块：选择性模仿模块和自主探索模块。选择性模仿模块根据适应性评估决定是否模仿专家步骤，而自主探索模块则在模仿能力不足时引导学生寻找替代推理路径。

关键创新：DART的主要创新在于引入了“模仿差距”概念，通过适应性评估来动态调整模仿策略。这一方法与传统的静态微调方法本质上不同，后者通常不考虑模型的实际能力。

关键设计：DART在设计上使用了基于模拟的适应性评估机制，确保学生模型在推理过程中保持结果一致性。此外，损失函数的设计也考虑了模仿和探索的平衡，以优化训练效果。

📊 实验亮点

实验结果表明，DART在多个推理基准上显著提高了小语言模型的性能，相较于静态微调方法，泛化能力提升了约20%，数据效率提高了30%。这些结果证明了DART在推理能力对齐中的有效性。

🎯 应用场景

该研究的潜在应用场景包括教育领域的智能辅导系统、医疗诊断辅助工具以及其他需要推理能力的自然语言处理任务。通过提升小语言模型的推理能力，DART能够在资源受限的环境中提供更高效的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have shown remarkable reasoning capabilities, yet aligning such abilities to small language models (SLMs) remains a challenge due to distributional mismatches and limited model capacity. Existing reasoning datasets, typically designed for powerful LLMs, often lead to degraded performance when directly applied to weaker models. In this work, we introduce Dynamic Adaptation of Reasoning Trajectories (DART), a novel data adaptation framework that bridges the capability gap between expert reasoning trajectories and diverse SLMs. Instead of uniformly imitating expert steps, DART employs a selective imitation strategy guided by step-wise adaptability estimation via solution simulation. When expert steps surpass the student's capacity -- signaled by an Imitation Gap -- the student autonomously explores alternative reasoning paths, constrained by outcome consistency. We validate DART across multiple reasoning benchmarks and model scales, demonstrating that it significantly improves generalization and data efficiency over static fine-tuning. Our method enhances supervision quality by aligning training signals with the student's reasoning capabilities, offering a scalable solution for reasoning alignment in resource-constrained models.