The Density of Thought: Predicting and Steering Reasoning in Large Language Models
作者: Tanush Kalhan, Anupam Chattopadhyay, Sriram Ranga, Amritendu Mukherjee
分类: cs.AI
发布日期: 2026-10-15
备注: 9 pages, 7 tables, 2 figures
💡 一句话要点
提出信息密度预测与引导方法以提高大语言模型推理准确性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 信息密度 推理准确性 大语言模型 熵门控密度路由 链式推理 监督微调 强化学习 对比学习
📋 核心要点
- 现有方法在推理过程中未能有效利用信息密度变化来预测答案的正确性，导致推理准确性不足。
- 论文提出通过信息密度的预测与引导来改善大语言模型的推理准确性，探索不同训练范式对密度行为的影响。
- 实验结果显示，采用熵门控密度路由方法可以在不依赖外部指导的情况下，提高模型的推理准确性，提升幅度达到10.0个百分点。
📝 摘要（中文）
本研究探讨了在链式推理步骤中信息密度的变化是否能够预测答案的正确性，并作为可控的推理时间目标。通过对冻结的预训练模型进行提示，测量每个推理步骤的信息密度，采用两种独立的指标：LP方差和Caveman压缩比。实验结果表明，较低的LP方差在监督微调模型中能够预测正确性，但在强化学习蒸馏模型中这一关系减弱并反转。此外，直接的推理时间密度引导会显著降低准确性，而结合提示注入与对比KV缓存引导的预生成干预则能提高准确性。最后，提出的熵门控密度路由方法在没有外部指导的情况下，能提高准确性。
🔬 方法详解
问题定义：本研究旨在解决大语言模型在推理过程中的准确性问题，现有方法未能有效利用信息密度的变化来预测答案的正确性，导致推理结果不稳定。
核心思路：论文的核心思路是通过分析推理步骤中的信息密度，探索其与答案正确性之间的关系，并提出可控的推理时间目标，以改善模型的推理性能。
技术框架：整体架构包括信息密度的测量、密度与正确性之间的关系分析、以及基于密度的引导策略。主要模块包括数据预处理、模型推理、密度计算和结果评估。
关键创新：最重要的技术创新点是引入熵门控密度路由（EGDR）方法，利用token级的香农熵来调节KV缓存的比例调整，从而在生成过程中提高准确性。与现有方法相比，该方法在不依赖外部指导的情况下实现了性能提升。
关键设计：在实验中，采用了LP方差和Caveman压缩比作为信息密度的度量指标，设计了多种训练范式以比较不同模型规模下的密度行为，并通过对比实验验证了引导策略的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在监督微调模型中，较低的LP方差与答案正确性呈正相关，而在强化学习蒸馏模型中则表现出相反的趋势。直接的推理时间密度引导导致准确性从60.0%降至8.3%，而结合提示注入与对比KV缓存引导的预生成干预则提高了准确性13.3个百分点。熵门控密度路由方法在没有外部指导的情况下，准确性提升了10.0个百分点。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、对话生成和教育技术等。通过提高大语言模型的推理准确性，可以在实际应用中提供更可靠的答案，增强用户体验。此外，研究成果可为未来的模型训练和推理策略设计提供理论基础和实践指导。
📄 摘要（原文）
We investigate whether variation in information density across chain-of-thought (CoT) reasoning steps predicts answer correctness and can serve as a controllable inference-time target. We prompt frozen pretrained models to solve problems via CoT and measure the density of each reasoning step with two independent metrics: LP variance (how unevenly information is distributed across steps, computed as the variance in mean per-token negative log-likelihood) and the Caveman compression ratio. We then test whether density correlates with, and can be steered to improve, answer correctness. Experiments across six model scales, two training paradigms, and 60 GSM8K problems yield four main findings. First, lower LP variance predicts correctness in supervised fine-tuned (SFT) models, but this relationship weakens with scale and reverses in reinforcement-learning (RL) distilled models. Training paradigm therefore appears more influential than model size in determining density behaviour. Second, synthetic experiments reveal an intrinsic complexity preference: models trained on uniformly distributed data learn complexity-favouring distributions 2.0 to 2.6 times more accurately than simplicity-favouring ones. Third, direct inference-time density steering reduces accuracy from 60.0% to 8.3%, indicating that natural density patterns are functionally important to reasoning. Fourth, pre-generation nudging combining hint injection with contrastive KV-cache steering improves accuracy by 13.3 percentage points, consistent across both metrics. Finally, we introduce Entropy-Gated Density Routing (EGDR), a self-supervised method using token-level Shannon entropy to gate proportional KVcache adjustments during generation, improving accuracy by 10.0 percentage points without any external guidance.