Valid $\ne$ Necessary: Diagnosing Latent Inefficiency in Chain-of-Thought

📄 arXiv: 2607.11266v1 📥 PDF

作者: Daeyeop Lee, Hwanjo Yu

分类: cs.AI

发布日期: 2026-07-13

DOI: 10.18653/v1/2026.findings-acl.1942

💡 一句话要点

提出CAID以解决链式推理中的潜在低效问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式推理 信息论 低效推理 推理优化 大型语言模型 计算效率 后处理压缩

📋 核心要点

  1. 现有推理步骤评估器未能有效识别有效但低效的推理步骤，导致计算资源浪费。
  2. 提出CAID作为一种基于信息论的无训练指标，旨在识别低效推理步骤，从而优化推理链。
  3. 实验结果表明，PACE策略在减少令牌消耗的同时，准确性保持不变，提升幅度达到31-53%。

📝 摘要（中文）

链式推理（CoT）提示显著提升了大型语言模型（LLMs）的推理能力，但常导致过度推理，增加计算成本。现有的推理步骤评估器能够检测逻辑错误，但未能惩罚有效但低效的推理步骤。为此，本文引入了RIV-GSM8K基准，包含五种低效类型，并提出CAID（上下文感知信息密度）作为一种新指标，识别低效步骤。通过在PACE压缩策略中的应用，CAID有效减少了31-53%的令牌消耗，同时保持了准确性，验证了其实际效用。

🔬 方法详解

问题定义：本文旨在解决链式推理中存在的低效推理步骤问题，现有方法无法有效区分有效与低效推理，导致资源浪费。

核心思路：提出CAID指标，通过信息论的视角识别低效推理步骤，进而优化推理链，减少不必要的计算开销。

技术框架：整体框架包括RIV-GSM8K基准的构建、CAID指标的设计以及PACE压缩策略的应用。RIV-GSM8K基准注入了多种低效推理类型，CAID用于评估推理步骤的效用，PACE则用于后处理压缩。

关键创新：CAID是首个专注于识别低效推理步骤的指标，与现有方法不同，它不仅关注逻辑正确性，还考虑信息的有效性。

关键设计：CAID的设计不依赖于训练过程，直接基于信息论原理，能够在不损失推理有效性的情况下，识别并去除冗余步骤。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用PACE策略后，模型在GSM8K、StrategyQA和ARC-Challenge数据集上，令牌消耗减少了31-53%，而准确性保持稳定，验证了CAID在优化推理链中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理工具。通过优化推理过程，能够显著提高计算效率，降低资源消耗，推动更高效的AI系统发展，具有广泛的实际价值和深远的未来影响。

📄 摘要（原文）

Chain-of-Thought (CoT) prompting has significantly advanced the reasoning capabilities of Large Language Models (LLMs), yet it often incurs substantial computational costs due to over-reasoning: the generation of redundant, verbose, or irrelevant steps. While existing reasoning step evaluators effectively detect logical fallacies and factual errors, our analysis reveals a critical blind spot: they fail to penalize valid but inefficient reasoning steps that inflate token usage without contributing to the solution. To systematically diagnose this limitation, we introduce RIV-GSM8K, a diagnostic benchmark injected with five distinct types of inefficiencies, including circular reasoning and excessive decomposition. Diagnostic experiments reveal that state-of-the-art evaluators struggle to distinguish these inefficiencies from necessary reasoning. To address this gap, we propose CAID (Context-Aware Information Density), a training-free metric grounded in information theory that identifies low-utility steps. To validate the metric's practical utility, we apply it within PACE, a post-hoc compression strategy. Additional control experiments show that the gains of PACE are not explained by trivial pruning: compared with random step removal and PRM-based compression baselines, it preserves accuracy at substantially higher compression rates. Empirical results on GSM8K, StrategyQA, and ARC-Challenge demonstrate that PACE reduces token consumption by 31-53% while maintaining accuracy, confirming that CAID successfully distills informational froth from reasoning chains without compromising deductive validity.