Discovering a Shared Logical Subspace: Steering LLM Logical Reasoning via Alignment of Natural-Language and Symbolic Views

📄 arXiv: 2604.19716v1 📥 PDF

作者: Feihao Fang, My T. Thai, Yuanyuan Lei

分类: cs.CL

发布日期: 2026-04-21

备注: Accepted to ACL 2026

💡 一句话要点

提出一种基于对齐自然语言和符号视图的LLM逻辑推理方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 逻辑推理 典型相关分析 自然语言处理 符号推理

📋 核心要点

  1. 现有LLM在多步逻辑推理中表现不足，依赖自然语言或外部符号求解器。
  2. 论文提出寻找LLM内部共享的逻辑子空间，对齐自然语言和符号语言视图。
  3. 实验表明，该方法在逻辑推理基准上提升显著，并具有良好的泛化能力。

📝 摘要（中文）

大型语言模型(LLMs)在多步逻辑推理方面仍然面临挑战。现有方法要么纯粹改进自然语言形式的推理链，要么附加一个符号求解器作为外部模块。本文探讨了LLMs是否包含一个共享的内部逻辑子空间，该子空间能够同时对齐推理过程的自然语言和符号语言视图。我们的假设是，这个逻辑子空间捕获了LLMs中跨视图共享的逻辑推理能力，并且与表面形式无关。为了验证这一点，我们对来自自然语言和符号语言推理链的配对残差激活应用典型相关分析，学习一个具有最大跨视图相关性的低维子空间。此外，我们设计了一种无需训练的方法，沿着这个逻辑子空间引导LLMs的推理链，从而利用来自两种视图的互补推理信号。在四个逻辑推理基准上的实验表明了我们方法的有效性，准确率提高了高达11个百分点，并且在领域外问题上表现出良好的泛化能力。

🔬 方法详解

问题定义：现有的大型语言模型在进行复杂的多步逻辑推理时，仍然面临准确率不高的问题。现有的方法主要集中在两个方向：一是直接优化自然语言形式的推理链，例如通过prompt工程或微调；二是将符号求解器作为外部模块与LLM结合。这些方法要么缺乏对LLM内部逻辑推理能力的有效利用，要么依赖外部模块增加了系统的复杂性。

核心思路：本文的核心思路是假设LLM内部存在一个共享的逻辑子空间，这个子空间能够同时表达自然语言和符号语言两种形式的逻辑推理过程。通过对齐这两种视图，可以提取出LLM中与表面形式无关的、更本质的逻辑推理能力。通过在这个共享子空间中引导LLM的推理过程，可以提升其逻辑推理的准确性和泛化能力。

技术框架：该方法主要包含以下几个阶段：1) 分别使用自然语言和符号语言提示LLM进行推理，得到两条推理链；2) 提取两条推理链中对应步骤的残差激活；3) 使用典型相关分析(Canonical Correlation Analysis, CCA)对配对的残差激活进行分析，学习一个低维的共享逻辑子空间，该子空间具有最大的跨视图相关性；4) 设计一种无需训练的方法，沿着学习到的逻辑子空间引导LLM的推理链，从而融合两种视图的推理信号。

关键创新：该方法最重要的创新点在于发现了LLM内部存在一个共享的逻辑子空间，并且能够通过对齐自然语言和符号语言视图来提取这个子空间。与现有方法相比，该方法不需要外部符号求解器，而是直接利用LLM内部的逻辑推理能力，并且能够有效地融合两种不同形式的推理信号。

关键设计：在提取残差激活时，需要选择合适的层和位置。论文中使用了Transformer模型的中间层，并提取了每个token的残差激活。在进行典型相关分析时，需要选择合适的维度来表示共享逻辑子空间。论文中通过实验确定了最佳的维度大小。在引导LLM推理链时，需要设计一种有效的方式来将逻辑子空间的信息注入到LLM的推理过程中。论文中采用了一种简单的线性组合方式，将逻辑子空间中的向量加到LLM的残差激活中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在四个逻辑推理基准上都取得了显著的提升，准确率最高提升了11个百分点。此外，该方法在领域外问题上也表现出良好的泛化能力，表明其学习到的逻辑子空间具有一定的通用性。与现有的基线方法相比，该方法在性能和泛化能力上都具有优势。

🎯 应用场景

该研究成果可应用于各种需要复杂逻辑推理的场景，例如智能问答、知识图谱推理、代码生成和程序验证等。通过提升LLM的逻辑推理能力，可以使其在这些应用中表现得更加智能和可靠。此外，该研究也为理解LLM的内部工作机制提供了新的视角，有助于开发更高效、更可控的LLM。

📄 摘要（原文）

Large Language Models (LLMs) still struggle with multi-step logical reasoning. Existing approaches either purely refine the reasoning chain in natural language form or attach a symbolic solver as an external module. In this work, we instead ask whether LLMs contain a shared internal logical subspace that simultaneously aligns natural-language and symbolic-language views of the reasoning process. Our hypothesis is that this logical subspace captures logical reasoning capabilities in LLMs that are shared across views while remaining independent of surface forms. To verify this, we employ Canonical Correlation Analysis on the paired residual activations from natural-language and symbolic-language reasoning chains, learning a low-dimensional subspace with maximum cross-view correlation. Furthermore, we design a training-free approach that steers LLMs reasoning chain along this logical subspace, thereby leveraging the complementary reasoning signals from both views. Experiments on four logical reasoning benchmarks demonstrate the effectiveness of our approach, improving accuracy by up to 11 percentage points and generalizing well on out-of-domain problems.