Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

📄 arXiv: 2610.13672v1 📥 PDF

作者: Jiwon Jeon, Myungsik Cho, Jeonghye Kim, Youngchul Sung

分类: cs.CL, cs.AI

发布日期: 2026-10-09

💡 一句话要点

提出UPTURN框架以解决LLM自我纠错问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自我纠错 推理重定向 机器学习 自然语言处理

📋 核心要点

  1. 现有的大型语言模型在自我纠错方面表现不佳，难以可靠地识别和修正推理错误。
  2. 本文提出UPTURN框架，通过学习干预位置和重定向方法，避免了对LLM的微调。
  3. 实验结果显示，UPTURN在多个推理器和数学基准上均提高了准确率，优于传统的自我纠错方法。

📝 摘要（中文）

大型语言模型（LLM）在识别和纠正自身推理错误方面存在困难。与以往通过微调LLM生成修订或反馈的训练方法不同，本文提出了一种新的方法，通过学习在失败的推理过程中进行干预的位置，并确定如何重定向推理。研究表明，在固定生成预算下，传统的内联注入方法无法有效重定向推理，而将相同指令以新的用户回合呈现则能改变模型的推理方向。所提出的UPTURN框架无需对LLM进行微调，保留选定的前缀，注入新的用户指令并重新生成后缀。在四个推理器和六个数学基准测试中，UPTURN在每种设置下都提高了平均准确率，超越了自我纠错和反射令牌注入的基线。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在自我纠错时无法有效识别和修正推理错误的问题。现有方法通常依赖于微调模型，导致灵活性不足和效率低下。

核心思路：UPTURN框架的核心思想是通过学习在失败推理中的干预位置，利用新的用户回合注入指令来重定向推理，而不是直接生成修订。这样的设计使得模型能够在不进行微调的情况下进行有效的自我纠错。

技术框架：UPTURN的整体架构包括三个主要模块：首先，固定编码器的130K参数多层感知机（MLP）头用于确定干预位置；其次，在选定位置注入新的用户指令；最后，重新生成推理的后缀部分。

关键创新：UPTURN的主要创新在于其无需对LLM进行微调，通过用户指令的注入实现有效的推理重定向。这与传统的基于微调的方法形成了鲜明对比，提升了模型的灵活性和适应性。

关键设计：在设计中，模型使用了固定的编码器和一个小型的MLP头，损失函数基于最终答案的正确性进行训练，确保干预位置的选择与推理的准确性紧密相关。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UPTURN在四个不同的推理器和六个数学基准测试中均表现出色，平均准确率在32次推理的基线之上有显著提升，超越了自我纠错和反射令牌注入的基线，展示了其强大的泛化能力和有效性。

🎯 应用场景

UPTURN框架具有广泛的应用潜力，尤其在需要高准确率的自然语言处理任务中，如自动问答、对话系统和教育技术等领域。其无需微调的特性使得模型能够快速适应不同的应用场景，提升用户体验和系统性能。

📄 摘要（原文）

Large language models struggle to reliably identify and correct errors in their own reasoning. Unlike prior training-based approaches that fine-tune an LLM to generate revisions or feedback, we learn where to intervene in failed rollouts and determine how to redirect them. To choose where to intervene, we train a 130K-parameter MLP head on a frozen encoder using only final-answer correctness. For redirection, we find that under a fixed generation budget, the tested inline injections fail to reliably redirect reasoning, whereas presenting the same instruction in a new user turn changes the model's course. The resulting correction framework, UPTURN (User-Prompt TURN injection at a learned position), requires no LLM fine-tuning: it retains a selected prefix, injects an instruction as a new user turn, and regenerates the suffix. Across four reasoners and six math benchmarks, UPTURN improves average accuracy in every setting over a 32-rollout baseline. It outperforms self-correction and reflection-token injection baselines under matched correction budgets, transfers across reasoners and to GPQA-Diamond without retraining, and complements GRPO and self-correction methods.