Uncovering the Representation Geometry of Minimal Cores in Overcomplete Reasoning Traces

📄 arXiv: 2605.14358v1 📥 PDF

作者: Sanjoy Chowdhury, Dinesh Manocha

分类: cs.AI, cs.LG

发布日期: 2026-05-14

💡 一句话要点

揭示过完备推理轨迹中最小核心的表征几何特性，实现推理过程压缩与提纯。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 推理轨迹 最小核心 过完备性 思维链 模型压缩 可解释性

📋 核心要点

  1. 现有语言模型推理过程冗长，包含大量不必要的中间步骤，影响效率和可解释性。
  2. 通过提取“最小核心”，即保留最终答案或预测分布的最小步骤子集，来压缩和提纯推理轨迹。
  3. 实验表明，平均可移除46%的步骤，同时保持86%的原始答案，并提升了正确-错误轨迹分离度。

📝 摘要（中文）

语言模型通常生成冗长的思维链推理轨迹，但其中有多少推理步骤对于保持最终预测是必要的尚不清楚。本文从过完备推理轨迹的角度研究这个问题，即生成的轨迹包含比支持模型答案所需的更多中间步骤。作者定义了最小核心为保留最终答案或预测分布的最小步骤子集，并引入了压缩率、冗余质量、步骤必要性和必要性集中度等指标。在涵盖算术、竞赛数学、专家科学推理和常识多跳问答的六个推理基准测试中，发现存在大量的过完备性：平均而言，在保留原始答案的情况下，可以通过贪婪最小核心提取移除46%的步骤（86%的案例）。此外，预测支持是集中的：前三个步骤平均占衡量必要性质量的65%。除了压缩之外，最小核心还揭示了更清晰的推理几何：与完整轨迹相比，它们将正确-错误轨迹分离度提高了11个点，将估计的内在维度降低了34%，并在模型系列之间以85%的非对角线答案保留率进行迁移。理论上，作者建立了最小充分子集的存在性、贪婪消除的局部不可约性保证以及过完备性和稀疏必要性的证书。总之，这些结果表明，完整的推理轨迹通常是冗长和过完备的，而最小核心则隔离了语言模型预测的有效支持。

🔬 方法详解

问题定义：论文旨在解决语言模型推理轨迹的过完备性问题。现有的思维链方法虽然提高了语言模型的推理能力，但生成的推理轨迹往往包含大量冗余信息，增加了计算成本，降低了可解释性。如何从冗长的推理轨迹中提取出关键的推理步骤，是本文要解决的核心问题。

核心思路：论文的核心思路是识别并提取推理轨迹中的“最小核心”。最小核心被定义为能够保留原始答案或预测分布的最小步骤子集。通过移除冗余步骤，可以显著压缩推理轨迹，同时保留关键的推理信息。这种方法旨在提高推理效率，并揭示语言模型推理过程的本质。

技术框架：论文的技术框架主要包括以下几个步骤：1) 生成过完备的推理轨迹；2) 定义最小核心的概念和相关指标，如压缩率、冗余质量、步骤必要性和必要性集中度；3) 设计贪婪最小核心提取算法，逐步移除对最终答案影响最小的步骤；4) 通过实验评估最小核心的性能，并分析其表征几何特性。

关键创新：论文的关键创新在于提出了“最小核心”的概念，并设计了相应的提取算法。与以往的研究不同，本文不仅关注推理轨迹的压缩，更关注压缩后的轨迹是否能够保留关键的推理信息。通过最小核心的提取，可以更好地理解语言模型的推理过程，并提高推理效率。

关键设计：论文的关键设计包括：1) 步骤必要性的度量方式，用于评估每个步骤对最终答案的重要性；2) 贪婪最小核心提取算法的具体实现，包括步骤选择策略和停止条件；3) 实验评估指标的选择，用于全面评估最小核心的性能，例如压缩率、答案保留率、表征几何特性等。

📊 实验亮点

实验结果表明，在六个不同的推理基准测试中，平均可以移除46%的推理步骤，同时保持86%的原始答案。最小核心提取后，正确-错误轨迹分离度提高了11个点，估计的内在维度降低了34%。此外，最小核心在不同模型之间具有良好的迁移性，在85%的情况下能够保留非对角线答案。

🎯 应用场景

该研究成果可应用于提升大语言模型的推理效率和可解释性。通过提取最小核心，可以减少计算资源消耗，加速推理过程。此外，最小核心可以帮助研究人员更好地理解语言模型的推理机制，为开发更高效、更可靠的推理模型提供理论基础。该技术还可应用于智能问答、知识图谱推理等领域。

📄 摘要（原文）

Language models often generate long chain-of-thought traces, but it remains unclear how much of this reasoning is necessary for preserving the final prediction. We study this through the lens of overcomplete reasoning traces: generated traces that contain more intermediate steps than are needed to support the model's answer. We define the minimal core as the smallest subset of steps that preserves either the final answer or predictive distribution, and introduce metrics for compression ratio, redundancy mass, step necessity, and necessity concentration. Across six deliberative reasoning benchmarks spanning arithmetic, competition mathematics, expert scientific reasoning, and commonsense multi-hop QA, we find substantial overcompleteness: on average, 46% of steps are removable under greedy minimal-core extraction while preserving the original answer in 86% of cases. We also find that predictive support is concentrated: the top three steps account for 65% of measured necessity mass on average. Beyond compression, minimal cores expose a cleaner geometry of reasoning: compared with full traces, they improve correct-incorrect trace separation by 11 points, reduce estimated intrinsic dimensionality by 34%, and transfer across model families with 85% off-diagonal answer retention. Theoretically, we establish existence of minimal sufficient subsets, local irreducibility guarantees for greedy elimination, and certificates of overcompleteness and sparse necessity. Together, these results suggest that full reasoning traces are often verbose and overcomplete, while minimal cores isolate the effective support underlying language-model predictions.