CoT-X: An Adaptive Framework for Cross-Model Chain-of-Thought Transfer and Optimization
作者: Ziqian Bi, Kaijie Chen, Tianyang Wang, Junfeng Hao, Benji Peng, Xinyuan Song
分类: cs.AI
发布日期: 2025-11-07 (更新: 2025-12-02)
备注: TKDD 2025
💡 一句话要点
提出CoT-X框架，通过自适应推理摘要实现跨模型CoT迁移与优化，降低推理开销。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Chain-of-Thought 推理摘要 跨模型迁移 模型压缩 贝叶斯优化
📋 核心要点
- 大型语言模型(LLMs)的CoT推理提升了问题解决能力，但推理开销巨大，限制了其在资源受限环境中的部署。
- 论文提出CoT-X框架，通过语义分割、重要性评分和动态压缩等技术，对推理过程进行摘要，减少token使用量。
- 实验表明，CoT-X在保证准确率的同时，显著降低了推理开销，并具有良好的跨模型迁移能力和跨领域鲁棒性。
📝 摘要（中文）
本文提出了一种自适应推理摘要框架CoT-X，用于在不同规模和架构的模型之间进行高效的Chain-of-Thought (CoT)迁移。该方法通过语义分割与重要性评分压缩推理过程，进行预算感知的动态压缩和连贯性重建，在显著减少token使用量的同时保留关键推理步骤。在包含10个专科的7501个医学检查问题上的实验表明，在相同token预算下，CoT-X的准确率比截断方法高出40%。对来自八个LLM（1.5B-32B参数，包括DeepSeek-R1和Qwen）的64个模型对的评估证实了其强大的跨模型可迁移性。此外，基于高斯过程的贝叶斯优化模块将评估成本降低了84%，并揭示了模型大小与跨领域鲁棒性之间的幂律关系。这些结果表明，推理摘要为高效的CoT迁移提供了一条可行的途径，从而能够在严格的计算约束下实现高级推理。
🔬 方法详解
问题定义：现有Chain-of-Thought (CoT)推理方法虽然能提升大型语言模型(LLMs)的推理能力，但其计算开销巨大，尤其是在资源受限的环境下，难以部署。直接截断CoT推理过程虽然能减少计算量，但会丢失关键的推理步骤，导致性能下降。因此，如何在保证推理性能的前提下，降低CoT推理的计算开销，是本文要解决的核心问题。
核心思路：论文的核心思路是通过对CoT推理过程进行摘要，提取关键的推理步骤，并压缩冗余信息，从而在减少token使用量的同时，保留CoT推理的核心信息。这种方法旨在实现高效的跨模型CoT迁移，即利用大型模型生成的CoT推理过程，指导小型模型的推理，从而提升小型模型的性能。
技术框架：CoT-X框架主要包含以下几个模块：1) 推理过程生成：使用大型语言模型生成CoT推理过程。2) 语义分割与重要性评分：对推理过程进行语义分割，识别出关键的推理步骤，并根据其对最终结果的影响程度进行重要性评分。3) 预算感知的动态压缩：根据预设的token预算，动态地压缩推理过程，优先保留重要性高的推理步骤。4) 连贯性重建：对压缩后的推理过程进行连贯性重建，保证推理过程的逻辑性和可读性。
关键创新：CoT-X框架的关键创新在于其自适应的推理摘要方法。与传统的截断方法不同，CoT-X能够根据推理步骤的重要性，动态地选择保留哪些步骤，从而在保证推理性能的同时，最大程度地减少token使用量。此外，CoT-X还引入了语义分割和连贯性重建技术，进一步提升了推理摘要的质量。
关键设计：在语义分割与重要性评分方面，论文可能采用了基于Transformer的序列标注模型，对推理过程中的每个token进行分类，判断其是否属于关键推理步骤。重要性评分可能基于梯度信息或注意力机制，评估每个token对最终结果的影响程度。在预算感知的动态压缩方面，论文可能采用了动态规划算法，在满足token预算的约束下，最大化保留重要性高的推理步骤。在连贯性重建方面，论文可能采用了语言模型或规则，对压缩后的推理过程进行润色，保证其逻辑性和可读性。（以上为推测，具体实现细节需参考论文）
🖼️ 关键图片
📊 实验亮点
实验结果表明，CoT-X框架在医学检查问题上，相比于直接截断方法，在相同token预算下，准确率提升高达40%。在跨模型迁移实验中，CoT-X在不同的模型对之间都表现出良好的迁移性能。此外，通过贝叶斯优化，评估成本降低了84%，并发现模型大小与跨领域鲁棒性之间存在幂律关系。这些结果充分证明了CoT-X框架的有效性和实用性。
🎯 应用场景
CoT-X框架可应用于各种资源受限的场景，例如移动设备、嵌入式系统和边缘计算等。通过将大型模型生成的CoT推理过程迁移到小型模型上，可以提升小型模型在这些场景下的推理能力，从而实现更智能的应用，例如智能助手、自动驾驶和医疗诊断等。此外，CoT-X还可以用于知识蒸馏，将大型模型的知识迁移到小型模型上，提升小型模型的泛化能力。
📄 摘要（原文）
Chain-of-Thought (CoT) reasoning enhances the problem-solving ability of large language models (LLMs) but leads to substantial inference overhead, limiting deployment in resource-constrained settings. This paper investigates efficient CoT transfer across models of different scales and architectures through an adaptive reasoning summarization framework. The proposed method compresses reasoning traces via semantic segmentation with importance scoring, budget-aware dynamic compression, and coherence reconstruction, preserving critical reasoning steps while significantly reducing token usage. Experiments on 7{,}501 medical examination questions across 10 specialties show up to 40% higher accuracy than truncation under the same token budgets. Evaluations on 64 model pairs from eight LLMs (1.5B-32B parameters, including DeepSeek-R1 and Qwen3) confirm strong cross-model transferability. Furthermore, a Gaussian Process-based Bayesian optimization module reduces evaluation cost by 84% and reveals a power-law relationship between model size and cross-domain robustness. These results demonstrate that reasoning summarization provides a practical path toward efficient CoT transfer, enabling advanced reasoning under tight computational constraints. Code will be released upon publication.