Learning Composable Chains-of-Thought

📄 arXiv: 2505.22635v1 📥 PDF

作者: Fangcong Yin, Zeyu Leo Liu, Liu Leqi, Xi Ye, Greg Durrett

分类: cs.CL, cs.AI

发布日期: 2025-05-28

💡 一句话要点

提出可组合思维链学习方法，提升LLM在复杂推理任务上的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 可组合性 大型语言模型 组合泛化 多任务学习

📋 核心要点

  1. 现有LLM推理训练依赖大量标注的链式思维数据，成本高昂，且泛化能力有限，尤其是在组合推理任务上。
  2. 本文提出可组合的链式思维学习方法，通过修改原子任务的CoT格式，使其更易于组合，从而提升泛化能力。
  3. 实验表明，在字符串操作和自然语言技能组合任务上，该方法优于多任务学习和持续微调等基线方法。

📝 摘要（中文）

为了提升大型语言模型（LLM）的推理能力，通常采用在链式思维（CoT）轨迹上进行训练的方法，但为每个感兴趣的问题标注CoT数据成本高昂。我们希望推理模型能够泛化到训练分布之外，理想情况下，能够进行组合泛化：组合原子推理技能来解决更困难、未见过的推理任务。本文针对没有标注CoT数据的目标组合任务，朝着推理技能的组合泛化迈出了一步。研究发现，简单地在原子任务的CoT数据上训练模型会导致有限的泛化能力，但对构成原子任务的CoT格式进行最小修改使其可组合可以带来改进。我们可以使用可组合CoT数据在原子任务上训练“原子CoT”模型，并通过多任务学习或模型合并将其组合，以在目标组合任务上获得更好的零样本性能。这种组合模型可以使用拒绝采样微调（RFT）在少量组合数据上进一步引导。在字符串操作和自然语言技能组合上的结果表明，在给定的训练数据预算内，在可组合CoT上训练LLM优于多任务学习和持续微调基线。

🔬 方法详解

问题定义：现有的大型语言模型在解决复杂推理问题时，通常依赖于在特定领域的链式思维（Chain-of-Thought, CoT）数据上进行训练。然而，为每个新的复杂推理任务收集和标注CoT数据成本巨大。更重要的是，这种训练方式难以使模型具备良好的组合泛化能力，即无法将已学习的原子推理技能灵活组合以解决未见过的复杂问题。因此，如何使LLM在有限的CoT数据下，具备更强的组合泛化能力，是本文要解决的核心问题。

核心思路：本文的核心思路是设计一种“可组合的链式思维”（Composable CoT）格式，使得原子任务的CoT数据更易于组合。具体来说，通过对原子任务的CoT格式进行最小的修改，使其输出能够作为另一个原子任务的输入，从而实现原子推理技能的无缝衔接。这种设计使得模型能够更容易地学习到原子推理技能之间的依赖关系，从而提升组合泛化能力。

技术框架：整体框架包含以下几个主要步骤：1) 原子任务CoT数据准备：针对每个原子任务，构建或收集CoT数据，并将其转换为可组合的格式。2) 原子CoT模型训练：使用可组合的CoT数据，在每个原子任务上训练一个“原子CoT”模型。3) 模型组合：通过多任务学习或模型合并等方式，将各个原子CoT模型组合成一个统一的模型。4) 引导微调：使用少量的组合任务数据，通过拒绝采样微调（Rejection Sampling Fine-tuning, RFT）进一步提升模型的性能。

关键创新：本文最重要的技术创新点在于提出了“可组合的链式思维”这一概念，并设计了相应的CoT格式。与传统的CoT方法相比，可组合的CoT更加注重原子推理技能之间的衔接，使得模型能够更容易地学习到原子技能之间的依赖关系，从而提升组合泛化能力。此外，本文还探索了多任务学习、模型合并和拒绝采样微调等技术，以进一步提升模型的性能。

关键设计：在CoT格式设计上，关键在于保证原子任务输出的格式能够作为另一个原子任务的输入。例如，如果一个原子任务的输出是字符串，那么另一个原子任务的输入也应该是字符串。在模型组合方面，多任务学习可以通过共享底层参数来促进原子技能之间的知识迁移，而模型合并则可以将各个原子模型的知识直接融合在一起。在拒绝采样微调方面，关键在于设计合适的拒绝采样策略，以保证微调过程中模型能够学习到正确的组合推理路径。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，在字符串操作和自然语言技能组合任务上，使用可组合CoT训练的LLM显著优于多任务学习和持续微调等基线方法。具体来说，在某些任务上，该方法可以将性能提升高达10%以上，并且在数据量较少的情况下也能取得良好的效果。这表明可组合CoT能够有效地提升LLM的组合泛化能力。

🎯 应用场景

该研究成果可应用于各种需要复杂推理能力的场景，例如智能问答、自然语言推理、代码生成等。通过将复杂的任务分解为一系列原子任务，并利用可组合的链式思维进行推理，可以显著提升LLM在这些场景下的性能和泛化能力。未来，该方法有望应用于更广泛的领域，例如机器人控制、医疗诊断等。

📄 摘要（原文）

A common approach for teaching large language models (LLMs) to reason is to train on chain-of-thought (CoT) traces of in-distribution reasoning problems, but such annotated data is costly to obtain for every problem of interest. We want reasoning models to generalize beyond their training distribution, and ideally to generalize compositionally: combine atomic reasoning skills to solve harder, unseen reasoning tasks. We take a step towards compositional generalization of reasoning skills when addressing a target compositional task that has no labeled CoT data. We find that simply training models on CoT data of atomic tasks leads to limited generalization, but minimally modifying CoT formats of constituent atomic tasks to be composable can lead to improvements. We can train "atomic CoT" models on the atomic tasks with Composable CoT data and combine them with multitask learning or model merging for better zero-shot performance on the target compositional task. Such a combined model can be further bootstrapped on a small amount of compositional data using rejection sampling fine-tuning (RFT). Results on string operations and natural language skill compositions show that training LLMs on Composable CoT outperforms multitask learning and continued fine-tuning baselines within a given training data budget.