$S^3$: Spectral Null-Space Swap Makes Reasoning Models Efficient

📄 arXiv: 2609.37976v1 📥 PDF

作者: Hongbo Ma, Sansheng Cao, Jiajun Fan, Bangji Yang, Ge Liu

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2026-09-29

备注: 44 pages, 9 figures, 29 tables

💡 一句话要点

提出$S^3$以提升推理模型的效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理模型 零空间 光谱交换 效率提升 自然语言处理 多模态学习 计算资源优化

📋 核心要点

  1. 现有的推理模型在推理能力与令牌成本之间存在矛盾，导致效率低下。
  2. 论文提出的$S^3$方法通过利用零空间来优化模型，显著提升推理效率。
  3. 实验结果表明，$S^3$在多个领域中平均减少27.4%的推理令牌开销，同时提高1.0个百分点的任务准确性。

📝 摘要（中文）

大型语言模型（LLMs）在链式思维训练下展现出卓越的推理能力，但往往伴随过高的令牌成本。我们发现推理能力的核心在于思维模型在对应非思维模型主导奇异方向下的投影零空间中的权重成分，去除子空间成分可以显著提高推理效率而不损害思维模式后训练所获得的准确性。与现有方法主要在主导子空间内操作不同，我们首次揭示了零空间的关键作用并利用其进行模型优化。基于这一发现，我们提出了光谱零空间交换（$S^3$），一种无训练的非思维和思维检查点配对组合方法。$S^3$在保持非思维模型在其主导子空间内的同时，将思维检查点置于其外部，从而提高推理效率并保持准确性。

🔬 方法详解

问题定义：本论文旨在解决现有推理模型在推理能力与令牌成本之间的矛盾，现有方法往往在主导子空间内操作，导致效率低下。

核心思路：论文的核心思路是利用思维模型在零空间中的权重成分，通过光谱零空间交换（$S^3$）方法优化模型，从而提高推理效率。

技术框架：$S^3$方法包括两个主要模块：非思维模型和思维模型的配对组合。非思维模型保持在其主导子空间内，而思维模型则被置于零空间外部。

关键创新：最重要的技术创新在于首次揭示了零空间的关键作用，并利用这一特性进行模型优化，与现有方法的本质区别在于操作的空间不同。

关键设计：在参数设置上，$S^3$方法通过保持非思维模型在主导子空间内，优化了思维模型的权重分布，具体的损失函数和网络结构设计未在摘要中详细说明，待进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

$S^3$在多个评估环境中表现出色，平均减少27.4%的推理令牌开销，同时提高1.0个百分点的任务准确性。例如，在HMMT25任务中，准确性提升了8.3%，并实现了33.0%的令牌速度提升，展现了其优越的性能。

🎯 应用场景

$S^3$方法具有广泛的应用潜力，尤其在需要高效推理的领域，如自然语言处理、计算机视觉和多模态学习等。通过提高推理效率，该方法能够降低计算资源消耗，提升用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

LLMs trained with Chain-of-thought excel in reasoning capability, but often come with excessive token cost. We find that the core of reasoning capacity lies in the Thinking model's weight component within the null space of a projection defined by the corresponding Non-thinking model's dominant singular directions, and removing the subspace component can largely improve reasoning efficiency without hurting the accuracy gained during thinking-mode post-training. Unlike existing efforts that mostly operate within the dominant subspace, we are the first to unveil the critical role of the null space and harness it for model optimization. Motivated by this finding, we propose Spectral Null-Space Swap ($S^3$), a training-free composition of paired Non-thinking and Thinking checkpoints. Our method keeps the Non-thinking model inside its own dominant subspace and takes the Thinking checkpoint outside it, improving reasoning efficiency while maintaining accuracy. We extensively evaluate $S^3$ on 2B-30B dense and mixture-of-experts (MoE) architectures spanning 28 evaluation environments across mathematical, multimodal, and audio reasoning domains. $S^3$ establishes new empirical Pareto Frontiers among training-free model composition strategies: across all settings, it reduces inference token overhead by an average of 27.4% compared to full Thinking models while simultaneously improving overall task accuracy by 1.0 percentage point (e.g., yielding +8.3% accuracy on HMMT25 alongside a 33.0% token speedup). We further use attention entropy for explanation and find that the retained component produces more concentrated attention, and we use a simplified analytical model about optimization to demonstrate why null-space can effectively reduce attention entropy, thereby improving the efficiency of reasoning.