Thinking Inertia: LLMs Keep Thinking When Told Not To

📄 arXiv: 2610.11765v1 📥 PDF

作者: Dianqiao Lei, Kevin Qinghong Lin, Pan Lu, Philip Torr, James Zou

分类: cs.CL

发布日期: 2026-10-08

备注: Accepted by NeurIPS 2026. Website: https://thinking-inertia.github.io GitHub: https://github.com/thinking-inertia/code

💡 一句话要点

提出无思维行为评估方法以解决LLMs推理控制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 无思维行为 推理能力 思维惯性 评估方法

📋 核心要点

  1. 现有方法通常通过代理指标来定义无思维行为，但这些指标不可靠，无法准确评估模型的推理能力。
  2. 论文提出了一种新的评估框架，通过规范化响应为预回答和最终回答，使用三个层次的指标来衡量无思维行为。
  3. 实验结果显示，显式的无思维控制无法消除可见推理，且在不同任务中表现出思维惯性，准确性在布尔和多项选择任务中保持稳定。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地配备明确的“思维模式”，而其对应的“无思维”模式却受到的关注较少。本文研究了LLMs的无思维行为，提出了一种新的评估方法，使用三个指标来衡量无思维的表现。研究发现，显式的无思维控制无法可靠地消除可见推理，模型表现出“思维惯性”，即即使在严格控制下，显式推理仍然存在。结果表明，无思维能力是一个非平凡的能力，不能仅通过模型设置或指令来假设，值得与推理能力一起进行系统评估。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在无思维模式下的推理行为评估问题。现有方法依赖于不可靠的代理指标，无法准确反映模型的推理能力。

核心思路：论文提出通过将每个响应规范化为预回答和最终回答，使用三个层次的指标来评估无思维行为，从而提供更可靠的评估方法。

技术框架：整体架构包括三个主要模块：1) 空回答率，用于严格的答案合规性；2) 指令感知的问答相关性，评估问题与预回答的相似性；3) LLM作为判断者的显式推理率，衡量可见的显式推理。

关键创新：最重要的创新在于提出了无思维行为的系统评估框架，强调了无思维能力的重要性，并揭示了显式推理在严格控制下的持续存在。

关键设计：在评估过程中，采用了空回答率、问答相关性和显式推理率等关键指标，确保能够准确区分答案输出、相关但非推理文本和显式推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，显式的无思维控制无法有效消除可见推理，且在开放式任务中，答案合规性与任务准确性之间存在权衡。通过对六种LLMs的评估，发现思维惯性在不同任务中普遍存在，且准确性在布尔和多项选择任务中保持稳定。

🎯 应用场景

该研究的潜在应用领域包括教育、问答系统和人机交互等，能够帮助开发更有效的语言模型，提升其在无思维场景下的表现。未来，随着对无思维能力的深入理解，可能会推动更智能的AI系统的设计与实现。

📄 摘要（原文）

Large Language Models (LLMs) increasingly ship with explicit "thinking modes", yet their counterpart, "no-thinking", has received far less attention. We study LLMs' no-thinking behavior along two axes. a. How to measure no-thinking? Prior work typically defines no-thinking through proxies such as a disabled thinking mode or the absence of long traces. These proxies are unreliable: disabled thinking modes may still emit reasoning, while long traces may contain filler rather than genuine inference. We instead normalize each response into a pre-answer trace and final answer, and evaluate it at three levels: (i) Empty-Thinking Rate for strict answer-only compliance; (ii) instruction-aware Question-Pre-answer Relevance for similarity between the question and pre-answer trace; and (iii) LLM-as-judge Explicit Inference Rate for visible explicit inference. Together, these metrics distinguish answer-only output, relevant but non-inferential text, and explicit inference. b. How does no-thinking vary across tasks and models? We evaluate six prompting interventions on six LLMs across Boolean, multiple-choice, and open-ended questions. We find that explicit no-think controls cannot reliably eliminate visible inference. Models instead exhibit "Thinking Inertia": explicit inference persists even under strict controls and becomes more prevalent as the answer space opens. Accuracy remains stable on Boolean and multiple-choice tasks, whereas open-ended tasks reveal a trade-off between answer-only compliance and task accuracy. Rewriting the same questions across answer spaces shows that supplying candidate answers makes answer-only responses easier to produce. These findings establish no-thinking as a non-trivial capability: stopping explicit reasoning cannot be assumed from model settings or instructions alone and deserves systematic evaluation alongside reasoning ability.