Can We Break LLMs Out of Self-Loops? Fine-Grained Reasoning Control with Activation Steering

📄 arXiv: 2607.18100v1 📥 PDF

作者: Sheldon Yu, Tong Yu, Xunyi Jiang, Rohan Surana, Gagan Mundada, Sungchul Kim, Lina Yao, Julian McAuley, Junda Wu

分类: cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出SOPHIA以解决大型语言模型自循环推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理控制 自循环 状态干预 激活引导

📋 核心要点

  1. 现有方法主要依赖输入提示，缺乏对推理过程的细粒度控制，导致模型在推理时容易陷入自循环。
  2. 本文提出SOPHIA，通过对推理过程中的潜在状态进行干预，提供对自循环推理的细粒度控制。
  3. 实验表明，SOPHIA能够有效干预自循环失败，提升最终任务的准确性和令牌效率。

📝 摘要（中文）

扩展推理已成为前沿大型语言模型（LLMs）的标准，但这些模型生成的推理轨迹仍然难以控制。现有方法主要基于输入的提示，无法对推理过程进行细粒度控制。相关研究分析了LLMs推理轨迹中的潜在转移动态，并发现失败的轨迹往往陷入自循环，耗尽令牌预算却无法取得最终答案。为此，本文提出了SOPHIA：通过隐藏状态干预和激活引导推理过程。我们将每个推理轨迹视为潜在状态的序列，研究推理时间干预是否能提供对自循环推理过程的细粒度控制。实验结果表明，该方法能够有效干预自循环失败，提升推理质量。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理过程中容易陷入自循环的问题。现有方法主要依赖输入提示，无法对推理过程进行有效干预，导致模型在推理时无法取得进展。

核心思路：论文提出SOPHIA，通过将推理轨迹视为潜在状态的序列，利用推理时间的干预来实现对自循环推理过程的细粒度控制。这种设计旨在通过状态转移的分析，识别并干预自循环现象。

技术框架：整体架构包括状态分类、步骤级转移记录和引导向量库的构建。在推理时，控制器推断当前状态，并根据目标状态检索相应的引导向量，同时在线检测自循环以防止模型陷入推理黑洞。

关键创新：最重要的技术创新在于将推理轨迹视为潜在状态序列，并通过状态对索引的引导向量实现细粒度控制。这与现有方法的本质区别在于，后者通常不考虑推理过程中的状态转移。

关键设计：在设计中，关键参数包括状态对的引导向量库的构建和在线自循环检测机制。这些设计确保了模型在推理过程中能够灵活应对不同的状态转移，提升推理质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SOPHIA在干预自循环失败方面表现出色，推理质量显著提升。与基线方法相比，最终任务的准确性提高了X%，令牌效率也得到了显著改善，表明细粒度控制对推理质量的积极影响。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过提升大型语言模型的推理质量，SOPHIA能够在实际应用中提供更为准确和高效的推理能力，进而推动智能助手和自动化系统的发展。

📄 摘要（原文）

Extended reasoning has become standard for frontier Large Language Models (LLMs), yet the trajectories these models produce remain largely uncontrollable. Existing methods for shaping how a model reasons are prompt based approaches and operate at the input level, offering no fine-grained control over the reasoning process itself. Related work analyzes and discovers latent transition dynamics in the reasoning traces from Large Language Models. Building on this, we statistically characterize these states, and show that failure trajectories get stuck in self-loops, exhausting the token budget without progress toward the final answer. To intervene on these failures, We propose SOPHIA: Steering Of reasoning Processes via Hidden-state Intervention and Activations. We treat each reasoning trace as a sequence of latent states rather than an unstructured texts, and investigate whether inference time interventions can provide fine-grained control over the self-looping reasoning process. We classify every prefix to a latent state, record step level transitions, and use them to construct a bank of steering vectors indexed by state pairs. At inference time, a controller infers the current state and, given a target state, retrieves the corresponding vector and can also detect self-loops online from the transition structure to prevent the model from sinking into a reasoning black hole. Through extensive experiments, our method reliably intervenes on self-loop failures, with steering vectors that generalize to different state pairs. End task accuracy and token efficiency indicate that fine-grained controllability results in better reasoning quality.