Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering
作者: Zeyong Zhang, Tung Sum Thomas Kwok, Tengfei Ma, Mengjia Xu
分类: cs.LG, cs.CL
发布日期: 2026-10-01
备注: 30 pages, 5 figures, 16 tables
💡 一句话要点
提出超曲率熵引导以优化稀疏激活问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 超曲率空间 激活引导 模型优化 数学推理 层次化推理 庞加莱球 熵引导 深度学习
📋 核心要点
- 现有的激活引导方法未能有效利用上下文信息，导致在处理高熵标记时的准确性下降。
- 本文提出的超曲率熵引导（HEST）通过将隐藏状态嵌入庞加莱球并利用模型的下一个标记熵进行调整，优化了激活过程。
- 在Qwen2.5-Math和Llama-3.1系列的三个指令调优模型上，HEST在MATH-500和GSM8K数据集上提高了最多1.8点的准确性。
📝 摘要（中文）
当大型语言模型解决数学问题时，其推理过程通常是层次化的，解决方案在几个高熵的标记处分支。现有的激活引导方法通过在每个标记上添加固定的欧几里得向量来编辑预训练模型的隐藏状态，未能有效利用上下文信息。本文提出了超曲率熵引导（HEST），通过轻量级探针将隐藏状态嵌入庞加莱球中，并根据模型的下一个标记熵进行调整。实验表明，HEST在多个设置下显著提高了模型在数学问题上的准确性，尤其是在模型犹豫较多的情况下。
🔬 方法详解
问题定义：本文旨在解决现有激活引导方法在处理高熵标记时的不足，尤其是在上下文信息未被充分利用的情况下，导致模型推理准确性下降。
核心思路：论文提出的超曲率熵引导（HEST）通过将隐藏状态嵌入庞加莱球，并利用模型的下一个标记熵进行调整，旨在优化稀疏激活过程。这样设计的原因在于超曲率空间能够更有效地表示层次化的推理结构。
技术框架：HEST的整体架构包括三个主要模块：首先是将隐藏状态嵌入庞加莱球；其次是通过轻量级探针计算下一个标记的熵；最后，在熵超过阈值时，沿着最陡下降的测地线调整嵌入状态并映射回隐藏状态。
关键创新：最重要的技术创新在于使用超曲率空间来表示模型的推理过程，相较于传统的欧几里得空间，超曲率空间在表示层次结构时具有更低的失真。
关键设计：在设计中，使用了Busemann读出作为理想点的学习方法，证明了固定长度的步长在每个状态下都能以相同的量降低读出值。此外，探针的训练仅依赖于模型的下一个标记熵，简化了模型的复杂性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，HEST在六种设置中有五种情况下提高了模型在MATH-500和GSM8K上的贪婪准确性，提升幅度最高达1.8点。而在使用同样训练的欧几里得探针时，准确性提升消失，表明超曲率方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型在数学推理、逻辑推理和复杂问题解决等任务中的优化。通过提高模型在高熵情况下的准确性，HEST能够在教育、科学计算和自动化决策等领域发挥重要作用，未来可能推动更智能的AI系统的发展。
📄 摘要（原文）
When a large language model solves a mathematical problem, its reasoning is largely hierarchical, and the solution often branches at a few tokens where the next-token entropy is high. Such tree-like structure embeds in hyperbolic space with far lower distortion than in Euclidean space. Activation steering, however, usually edits the hidden states of a pretrained model by adding one fixed Euclidean vector at every token, even though most tokens of a solution are already determined by the context. We propose Hyperbolic Entropy Steering (HEST), which embeds the hidden states in the Poincaré ball with a lightweight probe whose only label is the model's own next-token entropy. Where this entropy exceeds a threshold, HEST moves the embedded state along the geodesic of steepest descent of a readout of the probe and maps the change back to the hidden state. For the Busemann readout of a learned ideal point, we prove that a step of fixed length lowers it by the same amount at every state. On three instruction-tuned models from the Qwen2.5-Math and Llama-3.1 families, HEST with the Busemann readout improves greedy accuracy on MATH-500 and GSM8K in five of six settings, by up to 1.8 points, whereas a contrastive steering vector added at every token lowers accuracy. With a Euclidean probe trained in the same way, this gain disappears on Qwen2.5-Math-1.5B-Instruct. The gains are largest on problems where the model hesitates often, and accuracy on the remaining problems is almost unchanged.