GeoSteer: Faithful Chain-of-Thought Steering via Latent Manifold Gradients

📄 arXiv: 2601.10229v1 📥 PDF

作者: Kentaro Kazama, Daiki Shirafuji, Tatsuhiko Saito

分类: cs.CL

发布日期: 2026-01-15

备注: The Third workshop of NeusymBridge @AAAI 2026 (Bridging Neurons and Symbols for NLP and Knowledge Graph Reasoning)

💡 一句话要点

GeoSteer：通过隐空间流形梯度提升LLM的忠实思维链推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 思维链 推理质量 变分自编码器 流形学习 自然梯度 隐藏状态引导

📋 核心要点

  1. 现有LLM的思维链推理存在逻辑不一致问题，降低了中间步骤的可信度，即使最终答案正确。
  2. GeoSteer通过学习高质量CoT轨迹的低维流形，引导LLM的隐藏状态到更高质量的区域，提升推理质量。
  3. 实验表明，GeoSteer在GSM8k数据集上显著提升了Qwen3系列的答案准确率和成对胜率，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在多步推理方面取得了显著进展。大多数方法依赖于思维链（CoT）推理。然而，先前的研究表明，即使LLMs最终答案正确，也经常生成逻辑上不一致的推理步骤。这些不一致性降低了步骤级推理的可靠性。本文提出了GeoSteer，一个基于流形的框架，旨在提高中间推理的质量。该方法包括：（1）构建一个带有分段级别评分的CoT数据集；（2）训练一个变分自编码器（VAE）模型和一个质量估计模型，以学习高质量CoT轨迹的低维流形；（3）将目标LLMs的隐藏状态引导到潜在空间中更高质量的区域。这种在潜在空间中的更新类似于原始隐藏状态空间中的自然梯度调整，确保了几何上连贯的引导。在GSM8k数据集上使用Qwen3系列评估了GeoSteer。通过答案准确性和整体推理性能进行衡量。GeoSteer将精确匹配准确率提高了高达2.6个百分点，并将成对胜率提高了5.3个百分点。这些结果表明，GeoSteer提供了一种有效且可控的机制，用于提高LLMs中间推理的质量。

🔬 方法详解

问题定义：现有的大型语言模型在进行思维链（CoT）推理时，即使最终答案正确，中间步骤也可能出现逻辑不一致的问题。这种不一致性降低了对模型推理过程的信任度，限制了其在需要可靠中间步骤的应用中的使用。因此，如何提高LLM思维链推理的中间步骤质量是一个重要的研究问题。

核心思路：GeoSteer的核心思路是将高质量的CoT推理轨迹映射到一个低维的潜在空间流形上，然后通过调整LLM的隐藏状态，使其向这个流形上更高质量的区域移动。这种方法类似于在原始隐藏状态空间中进行自然梯度调整，可以确保在提升推理质量的同时，保持几何上的一致性。

技术框架：GeoSteer的整体框架包含三个主要阶段：（1）CoT数据集构建：构建一个包含CoT推理过程的数据集，并对每个推理步骤进行质量评分。（2）潜在空间学习：使用变分自编码器（VAE）学习高质量CoT轨迹的低维流形表示，并训练一个质量估计模型来评估潜在空间中不同区域的质量。（3）隐藏状态引导：在推理过程中，利用质量估计模型和VAE，将LLM的隐藏状态引导到潜在空间中更高质量的区域，从而提升推理质量。

关键创新：GeoSteer的关键创新在于其利用潜在空间流形来引导LLM的推理过程。与直接在原始隐藏状态空间中进行调整相比，这种方法可以更好地利用高质量CoT轨迹的信息，并确保在提升推理质量的同时，保持几何上的一致性。此外，使用VAE学习低维流形表示也有助于降低计算复杂度。

关键设计：GeoSteer的关键设计包括：(1) 使用分段级别的评分来评估CoT推理过程的质量，这可以更精细地捕捉推理过程中的错误。(2) 使用VAE来学习高质量CoT轨迹的低维流形表示，这可以有效地利用数据中的结构信息。(3) 使用质量估计模型来评估潜在空间中不同区域的质量，这可以指导隐藏状态的引导过程。(4) 隐藏状态的引导过程通过计算潜在空间中的梯度来实现，这可以确保在提升推理质量的同时，保持几何上的一致性。具体参数设置和损失函数细节在论文中有更详细的描述，此处未知。

📊 实验亮点

GeoSteer在GSM8k数据集上进行了评估，实验结果表明，GeoSteer可以将Qwen3系列的精确匹配准确率提高高达2.6个百分点，并将成对胜率提高5.3个百分点。这些结果表明，GeoSteer能够有效地提高LLM中间推理的质量，并显著提升其在复杂推理任务中的性能。具体的基线模型和详细的实验设置未知。

🎯 应用场景

GeoSteer具有广泛的应用前景，例如可以应用于需要高可靠性推理的场景，如医疗诊断、金融分析和法律咨询等。通过提高LLM中间推理步骤的质量，可以增强人们对模型决策的信任度，并减少错误决策带来的风险。此外，该方法还可以用于提升LLM在教育领域的应用，例如辅助学生进行问题解决和知识学习。

📄 摘要（原文）

Recent advances in Large Language Models (LLMs) have improved multi-step reasoning. Most approaches rely on Chain-of-Thought (CoT) rationales. Previous studies have shown that LLMs often generate logically inconsistent reasoning steps even when their final answers are correct. These inconsistencies reduce the reliability of step-level reasoning. We propose GeoSteer, a manifold-based framework that improves the quality of intermediate reasoning. The method consists of: (1) constructing a CoT dataset with segment-level scores, (2) training a Variational Autoencoder (VAE) model and a quality estimation model to learn a low-dimensional manifold of high-quality CoT trajectories, and (3) steering hidden states of target LLMs toward higher-quality regions in the latent space. This update in a latent space behaves like a natural-gradient adjustment in the original hidden-state space. It ensures geometrically coherent steering. We evaluate GeoSteer on the GSM8k dataset using the Qwen3 series. We measure via answer accuracy and overall reasoning performance. GeoSteer improved the exact match accuracy by up to 2.6 points. It also enhanced the pairwise win rate by 5.3 points. These results indicate that GeoSteer provides an effective and controllable mechanism for improving the quality of intermediate reasoning in LLMs.