Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts

📄 arXiv: 2605.07307v1 📥 PDF

作者: Yi-Chang Chen, Feng-Ting Liao, Da-shan Shiu, Hung-yi Lee

分类: cs.CL

发布日期: 2026-05-08

💡 一句话要点

挑战思维链范式：推理大模型具备从稀疏且乱序的思维链中提取答案的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 思维链 大语言模型 推理机制 模型鲁棒性 计算效率 自然语言处理

📋 核心要点

  1. 现有推理模型假设思维链必须是密集的、顺序的逻辑流，这限制了推理效率与并行化潜力。
  2. 本文通过对思维链进行移除、掩码、乱序及噪声注入，系统性地解构了模型推理的底层机制。
  3. 实验证明模型具备从稀疏、乱序的思维链中提取答案的能力，且该特性源于预训练阶段而非微调。

📝 摘要（中文）

现代推理语言模型生成的思维链（CoT）通常被认为依赖于密集的顺序逻辑。本文通过系统性的干预手段（移除、掩码、乱序及噪声注入），对三种模型在三个基准测试上的表现进行了评估。研究发现，推理链的顺序对答案提取影响极小，甚至在打乱行级顺序后精度几乎不变；同时，模型对思维链的依赖并非全量信息，掩码掉自然语言文本反而能提升精度，而掩码数字则会导致性能崩溃。此外，即便在极度精简（移除所有自然语言）且乱序的情况下，模型仍能保持高准确率，且不受虚假答案注入的影响。这些结果表明，推理模型的答案提取机制基于一种稀疏、顺序无关且结构稳健的信息基底，为并行化和高效推理生成提供了新路径。

🔬 方法详解

问题定义：论文旨在挑战“思维链必须是密集且顺序执行”的传统假设。现有方法认为推理过程中的每一步都至关重要，且必须严格按时间顺序排列，这导致了推理生成过程的冗余与低效。

核心思路：通过系统性的干预实验，验证模型在思维链信息缺失或顺序重组后的鲁棒性。研究者试图揭示模型在提取答案时，究竟是依赖于完整的逻辑链条，还是仅仅依赖于特定的关键信息点。

技术框架：研究构建了一个干预流水线，包括：1. 顺序干预（行级、词级、Token级乱序）；2. 信息干预（掩码数字或自然语言文本）；3. 鲁棒性测试（注入虚假答案及极度精简思维链）。通过对比干预前后的模型准确率，量化思维链各部分的贡献度。

关键创新：揭示了推理模型答案提取的“稀疏性”与“顺序无关性”。研究发现模型对自然语言的依赖度较低，而对数字等关键信息的依赖极高，且这种特性在预训练阶段即已形成。

关键设计：实验采用了多种干预策略，如将思维链拆解为行级单位进行重排，或通过掩码技术剔除特定语义类别（如 prose 或 digits），并对比了预训练模型与指令微调模型在这些干预下的表现差异，以验证结论的普适性。

📊 实验亮点

实验结果显示，行级乱序仅导致不到0.5个百分点的精度下降；在移除所有自然语言且行级乱序的极端条件下，模型仍保持83%的准确率。此外，注入3倍于真实答案的虚假信息对准确率无影响，证明了模型并非简单依赖频率进行提取，而是基于稳健的结构化信息。

🎯 应用场景

该研究为大模型推理优化提供了理论基础。未来可应用于开发更高效的推理生成算法，如通过跳过冗余的自然语言描述实现并行化推理，或设计更紧凑的推理表示以降低计算开销。此外，该发现有助于提升模型在复杂任务中的鲁棒性，并为理解大模型内部的逻辑处理机制提供新视角。

📄 摘要（原文）

Modern reasoning language models generate dense, sequential chain-of-thought traces implicitly assuming that every token contributes and that steps must be consumed in order. We challenge both assumptions through a systematic intervention pipeline--removal, masking, shuffling, and noise injection--applied to model-generated reasoning chains across three models and three benchmarks. Our findings are counterintuitive on three dimensions. Order: Does the sequential order of a reasoning chain matter for answer extraction? No--line-level shuffling reduces accuracy by less than 0.5 pp; word-level shuffling retains 62%-89% accuracy; only token-level shuffling collapses to near zero. Pretrained-only and instruction-tuned variants exhibit near-identical tolerance (78.67% vs. 78.00% under line shuffling), indicating order-independence originates from pretraining rather than reasoning-specific fine-tuning. Dense: Is all the information in a reasoning chain important for answer extraction? No--masking numeric digits collapses accuracy to exactly 0%, while masking alphabetic prose improves accuracy by 4.7 pp. Robustness: Is a reasoning chain that is both order-shuffling and non-dense still robust? Yes--the most aggressively reduced representation (all natural language removed, lines arbitrarily shuffled) still achieves 83% accuracy, and injecting false answers at 3x true-answer frequency leaves accuracy unchanged (83.3%->83.3%), falsifying a frequency-based extraction account. These results establish that answer extraction operates on a sparse, order-insensitive, and structurally robust informational substrate, opening paths toward parallelized and token-efficient reasoning generation.