The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning
作者: Tianshi Zheng, Yixiang Chen, Chengxi Li, Chunyang Li, Qing Zong, Haochen Shi, Baixuan Xu, Yangqiu Song, Ginny Y. Wong, Simon See
分类: cs.CL
发布日期: 2025-04-07 (更新: 2025-11-01)
备注: Accepted by TMLR
💡 一句话要点
CoT在基于模式的上下文学习中表现欠佳：揭示其局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 思维链 上下文学习 大型语言模型 模式识别 显式推理 隐式推理 提示工程 推理机制
📋 核心要点
- 现有研究普遍认为CoT能提升LLM的推理能力，但本文发现其在基于模式的ICL中表现不佳，提出了对CoT有效性的质疑。
- 论文核心在于揭示了CoT在基于模式的ICL中表现不佳的根本原因，即显式推理的失败和隐式推理的干扰。
- 通过大量实验，证明了CoT在不同模型规模和数据集上均不如直接回答，并分析了显式-隐式混合推理机制。
📝 摘要（中文）
思维链（CoT）提示因其增强大型语言模型（LLM）推理能力而广受认可。然而，本研究揭示了一个令人惊讶的矛盾，即在基于模式的上下文学习（ICL）这一基础领域内，CoT及其推理变体始终不如直接回答。通过对16个最先进的LLM和9个不同的基于模式的ICL数据集进行的大量实验，证明了这一点，且该现象与模型规模和基准复杂性无关。为了系统地研究这种意外现象，设计了广泛的实验来验证几种假设性解释。分析揭示了驱动CoT在基于模式的ICL中性能的显式-隐式推理的混合机制：显式推理因LLM难以从演示中推断底层模式而失败，而隐式推理——因CoT理由的上下文距离增加而受到干扰——通常会进行补偿，即使理由存在缺陷也能给出正确的答案。这种混合机制解释了CoT的相对表现不佳，因为来自弱显式推理的噪声破坏了该过程，即使隐式机制部分挽救了结果。值得注意的是，即使擅长抽象和符号推理的长CoT推理模型，也未能完全克服这些限制，尽管计算成本更高。研究结果挑战了关于CoT普遍有效性的现有假设，为CoT的局限性提供了新的见解，并指导未来的研究朝着更细致和有效的LLM推理方法发展。
🔬 方法详解
问题定义：论文旨在解决CoT在基于模式的上下文学习（ICL）中表现不佳的问题。现有研究普遍认为CoT能够提升LLM的推理能力，但在特定场景下，CoT的表现反而不如直接回答，这挑战了CoT的通用性，需要深入探究其局限性。
核心思路：论文的核心思路是揭示CoT在基于模式的ICL中表现不佳的根本原因，即显式推理的失败和隐式推理的干扰。论文认为，LLM难以从演示中推断出潜在的模式，导致显式推理失败；而CoT引入的推理步骤增加了上下文距离，干扰了隐式推理，最终导致CoT的整体性能下降。
技术框架：论文通过大量的实验来验证其核心思路。首先，在多个LLM和数据集上对比CoT和直接回答的性能。然后，设计实验来验证显式推理和隐式推理在CoT中的作用。最后，分析实验结果，揭示CoT在基于模式的ICL中的局限性。整体流程包括：数据准备、模型选择、实验设计、结果分析和结论总结。
关键创新：论文最重要的技术创新点在于揭示了CoT在基于模式的ICL中的显式-隐式混合推理机制。论文指出，CoT的性能受到显式推理和隐式推理的共同影响，而显式推理的失败和隐式推理的干扰是导致CoT表现不佳的关键原因。与现有研究不同，论文强调了CoT的局限性，并提出了对CoT有效性的质疑。
关键设计：论文的关键设计包括：1) 选择了多个具有代表性的LLM和数据集，以保证实验结果的通用性；2) 设计了专门的实验来验证显式推理和隐式推理的作用，例如通过控制推理步骤的长度和内容来观察CoT的性能变化；3) 采用了多种评估指标来全面评估CoT的性能，例如准确率、F1值等。具体参数设置和损失函数等细节在论文中未明确说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CoT在基于模式的ICL任务中始终不如直接回答，即使在大型LLM和复杂数据集上也是如此。例如，在某些数据集上，直接回答的准确率比CoT高出5%-10%。此外，实验还验证了显式推理的失败和隐式推理的干扰是导致CoT表现不佳的关键原因。长CoT推理模型虽然在抽象和符号推理方面表现出色，但仍无法完全克服这些限制。
🎯 应用场景
该研究成果可应用于指导LLM的提示工程，帮助开发者在特定场景下选择更合适的提示策略，例如在基于模式的ICL任务中，避免过度依赖CoT，而是采用更直接的回答方式。此外，该研究也为未来LLM推理方法的研究提供了新的方向，即如何设计更有效的推理机制，克服显式推理的局限性，并减少隐式推理的干扰。
📄 摘要（原文）
Chain-of-Thought (CoT) prompting has been widely recognized for its ability to enhance reasoning capabilities in large language models (LLMs). However, our study reveals a surprising contradiction to this prevailing perspective within the fundamental domain of pattern-based in-context learning (ICL). Through extensive experiments involving 16 state-of-the-art LLMs and nine diverse pattern-based ICL datasets, we demonstrate that CoT and its reasoning variants consistently underperform direct answering across varying model scales and benchmark complexities. To systematically investigate this unexpected phenomenon, we designed extensive experiments to validate several hypothetical explanations. Our analysis uncovers a fundamental hybrid mechanism of explicit-implicit reasoning driving CoT's performance in pattern-based ICL: while explicit reasoning falters due to LLMs' struggles to infer underlying patterns from demonstrations, implicit reasoning-disrupted by the increased contextual distance of CoT rationales-often compensates, delivering correct answers despite flawed rationales. This hybrid mechanism explains CoT's relative underperformance, as noise from weak explicit inference undermines the process, even as implicit mechanisms partially salvage outcomes. Notably, even long-CoT reasoning models, which excel in abstract and symbolic reasoning, fail to fully overcome these limitations despite higher computational costs. Our findings challenge existing assumptions regarding the universal efficacy of CoT, yielding novel insights into its limitations and guiding future research toward more nuanced and effective reasoning methodologies for LLMs.