What Makes Chain-of-Thought Work at Probe Time? Local Co-occurrence Rather Than Global Derivation
作者: Xiang Wang, Wei Wei
分类: cs.AI
发布日期: 2026-05-26
💡 一句话要点
提出局部共现激活模型以解析链式思维的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式思维 局部共现激活 语言模型 推理文本 自然语言处理
📋 核心要点
- 现有研究主要集中在生成时的行为，缺乏对探测时推理文本特性的深入理解。
- 本文提出局部共现激活模型，强调短距离标记邻接对推理性能的影响。
- 实验结果显示，局部共现激活显著提升了模型性能，尤其是在保留2-3个标记的情况下。
📝 摘要（中文）
链式思维（CoT）提示能够可靠地提高语言模型的准确性，但其背后的驱动因素尚不明确。本文关注探测时的表现，探讨固定的推理文本中哪些特性影响答案。研究发现，即使是全局词汇打乱的推理文本也显著优于无推理基线，表明存在强烈的词汇激活效应。更重要的是，结构化文本的额外增益主要源于短距离的标记邻接，而非句子级的逻辑顺序。保留连续的2-3个标记窗口可以恢复大部分的性能提升。实验排除了显式答案声明或答案值的复制，以及完整语法实现作为主要驱动因素。进一步的泛化实验表明，这种定性模式在多种模型、参数规模和数据集上保持稳定。这些结果支持局部共现激活（LCA）模型，表明增益主要来自词汇激活和短距离标记共现，而非句子级逻辑推导。
🔬 方法详解
问题定义：本文旨在探讨在探测时，固定推理文本中哪些特性影响语言模型的答案。现有方法主要关注生成时的行为，未能深入分析推理文本的具体作用。
核心思路：论文提出局部共现激活（LCA）模型，认为推理文本的增益主要来自短距离标记的邻接，而非句子级的逻辑顺序。通过分析不同文本结构对模型性能的影响，揭示了词汇激活的关键作用。
技术框架：研究通过对比实验设计，分析全局词汇打乱的推理文本与无推理基线的性能差异。实验中保留连续的2-3个标记窗口，以评估其对性能的影响。
关键创新：最重要的技术创新在于提出了局部共现激活模型，强调短距离标记邻接对推理性能的贡献，与传统的句子级逻辑推导方法形成鲜明对比。
关键设计：实验中排除了显式答案声明、答案值的复制以及完整语法实现的影响，确保了研究结果的可靠性。通过多种模型、参数规模和数据集的泛化实验，验证了LCA模型的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使是全局词汇打乱的推理文本，其性能也显著优于无推理基线，提升幅度达到XX%。保留2-3个标记窗口的策略能够恢复大部分性能，验证了局部共现激活的有效性。
🎯 应用场景
该研究为语言模型的推理能力提升提供了新的视角，尤其在自然语言处理、对话系统和智能问答等领域具有广泛的应用潜力。通过优化推理文本的结构，可以显著提高模型的准确性和响应质量，推动智能系统的进一步发展。
📄 摘要（原文）
Chain-of-thought (CoT) prompting reliably improves language-model accuracy, but which properties of a rationale text drive the improvement is poorly understood. Prior work has largely studied generation-time behavior. We instead ask a probe-time question: given a fixed rationale in context, what in that text changes the answer? We identify two complementary sources of the gain. First, even a globally word-shuffled rationale substantially outperforms the no-rationale baseline, indicating a strong lexical activation effect. More importantly, the additional gain from structured text appears to arise less from sentence-level logical ordering and more from short-range token adjacency. Preserving contiguous windows of just $n^\star{=}2$--$3$ tokens recovers most of the remaining gain toward full CoT performance. Supporting experiments rule out copying of explicit answer declarations or answer values, as well as full grammatical realization, as primary drivers. Further generalization experiments show that the qualitative pattern remains stable across multiple model families, parameter scales, and datasets. These results support a local co-occurrence activation (LCA) account of probe-time CoT, in which the observed gains appear to arise primarily from lexical activation and short-range token co-occurrence rather than sentence-level logical derivation.