Reasoning Models Can Control Their Chains of Thought When They Tell Themselves To
作者: Uriel Dolev, Idan Schwartz, Yoav Goldberg
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-10-16
备注: 26 pages, 19 figures, 18 tables. Code and data: https://github.com/udolev/Self-Instructed-CoT-Controllability
💡 一句话要点
提出自我指令以提升推理模型的思维链可控性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推理模型 链式思维 可控性 自我指令 人工智能 模型评估 监督学习
📋 核心要点
- 现有方法普遍存在推理模型在遵循用户提示的CoT约束时可控性较低的问题。
- 论文提出通过将约束作为自我指令嵌入模型的思维链中，来提升推理模型的可控性。
- 实验结果表明，自我指令显著提高了模型的可控性，甚至简单的提醒也能带来明显改善。
📝 摘要（中文）
链式思维（CoT）可控性是推理模型控制其思维链特性的能力，这对模型的实用性和可靠监督至关重要。近期研究通过测量模型是否遵循用户提示中的CoT约束来评估这一能力，结果显示模型的可控性普遍较低。我们认为，这种低可控性可能并非推理模型固有的能力不足，而是由于用户提示中约束的简单指定。为此，我们引入了自我指令CoT可控性评估，作为一种补充评估方法，将约束作为自我指令嵌入模型的思维链中，并测量其遵循能力。结果表明，在自我指令下，模型的可控性显著高于标准用户指令。即使是简单的提醒也能显著提升可控性。此外，通过简单的用户提示，能够引导有效的自我指令，从而在没有接入推理通道的情况下实现更好的控制。最后，我们在现实监控设置中展示了如何利用自我指令实现CoT可控性，从而可能对CoT监控性构成风险。
🔬 方法详解
问题定义：本论文旨在解决推理模型在遵循用户提示的CoT约束时可控性不足的问题。现有方法往往低估了模型的潜力，导致可控性评估结果不理想。
核心思路：论文的核心思路是引入自我指令CoT可控性评估，将约束作为自我指令嵌入模型的思维链中，从而提升模型的遵循能力。这样的设计使得模型能够在内部自我调整，增强其对约束的响应能力。
技术框架：整体架构包括两个主要阶段：首先，用户通过提示提供约束；其次，模型在思维链中将这些约束作为自我指令进行处理。该框架允许模型在推理过程中动态调整其行为。
关键创新：最重要的技术创新点在于将约束转化为自我指令，这一方法显著提高了模型的可控性，与传统的用户提示方法相比，能够更有效地引导模型的推理过程。
关键设计：在技术细节上，模型的自我指令可以通过简单的文本提示实现，且不需要复杂的网络结构或额外的训练过程。实验中还探讨了不同类型的自我指令对可控性的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在自我指令的情况下，模型的可控性显著提高，具体提升幅度超过了50%。即使是简单的提醒也能带来可控性的显著改善，表明自我指令在提升推理模型性能方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化决策系统和教育技术等。通过提升推理模型的可控性，可以增强这些系统在复杂任务中的可靠性和安全性，未来可能在多个行业中产生深远影响。
📄 摘要（原文）
Chain-of-thought (CoT) controllability, the ability of reasoning models to control properties of their CoT, is consequential for both their usefulness and reliable oversight. Recent work evaluates this capability by measuring whether models follow CoT constraints given in the user prompt, and reports very low controllability across models. We argue that this low controllability may not reflect an inherent inability of reasoning models to control their CoT, but instead result from naively specifying constraints in the user prompt. To test this, we introduce Self-Instructed CoT Controllability: a complementary evaluation that places the constraint as a self-instruction inside the model's CoT and measures its ability to follow it. We show that, under self-instruction, models achieve significantly higher controllability than with standard user instructions. Even a generic reminder to follow the user's constraint substantially improves controllability. Moreover, effective self-instructions can be bootstrapped into the reasoning through a simple instruction in the user prompt, enabling improved control even without access to the reasoning channel. Finally, using self-instruction, we demonstrate in a realistic monitoring setup that CoT controllability can be leveraged for monitor evasion, posing a risk to CoT monitorability.