MetaCtrl: Your Large Language Models Can Reason Better and More Concisely with a Metacognitive Controller

📄 arXiv: 2609.37304v1 📥 PDF

作者: Zhibin Wen, Tao Han, Lei Bai, Can Li, Yang Xu

分类: cs.AI, cs.LG

发布日期: 2026-09-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出MetaCtrl以动态调节推理过程，提升大语言模型的推理准确性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元认知控制 推理优化 大语言模型 强化学习 动态调节

📋 核心要点

  1. 现有方法往往依赖于预定义预算或干预规则，无法灵活应对不同问题的推理需求。
  2. MetaCtrl通过观察推理过程，动态决定是否继续、简化、跳过冗余步骤或结束推理，提升了推理效率。
  3. 在七个基准测试中，MetaCtrl在提高准确率的同时，显著减少了推理长度，展示了其良好的适应性和效果。

📝 摘要（中文）

大规模推理模型在解决复杂问题时，通过在回答前分配额外计算来提高性能，但过长的推理并不总是带来更好的结果，且可能在简单问题上引入冗余推理。相反，过于简化推理可能会降低在困难问题上的表现。因此，有效推理需要动态决定何时额外计算。本文提出MetaCtrl，一个轻量级控制器，能够在不需要预定义令牌预算或重新训练推理器的情况下，自适应地调节冻结的推理器。MetaCtrl将推理调节形式化为一个序列元认知控制问题，通过强化学习直接训练，优先考虑正确性并偏好较短的正确解路径。实验结果表明，MetaCtrl在多个基准测试中显著提高了推理准确性，同时减少了推理长度。

🔬 方法详解

问题定义：本文旨在解决现有推理模型在处理不同复杂度问题时，推理过程冗长或不足的问题。现有方法通常依赖于固定的预算或需要重新训练推理器，缺乏灵活性。

核心思路：MetaCtrl的核心思路是将推理调节视为一个序列元认知控制问题，通过观察推理过程的演变，动态决定推理的下一步，避免冗余计算。

技术框架：MetaCtrl的整体架构包括观察推理轨迹的模块、决策模块和执行模块。观察模块负责实时监测推理过程，决策模块根据观察结果决定是否继续推理，执行模块则执行相应的操作。

关键创新：MetaCtrl的主要创新在于其轻量级设计，能够在不需要预定义预算或重新训练的情况下，自适应调节推理过程。这与传统方法的固定预算和干预规则形成鲜明对比。

关键设计：在训练过程中，MetaCtrl使用强化学习，设计了优先考虑正确性的奖励机制，同时偏向于较短的正确解路径，避免了对特定问题的监督干预需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DeepSeek-R1-Distill-Qwen-7B上，MetaCtrl将平均准确率提高了4.7个百分点，同时推理长度减少了53.3%。在未经过训练的情况下，该控制器还成功转移到未见过的推理器（如Qwen3-14B），提高了2.9个百分点的准确率，并减少了50.3%的生成长度。

🎯 应用场景

MetaCtrl的研究成果在多个领域具有广泛的应用潜力，包括教育、科学计算和编程辅助等。通过提升大语言模型的推理能力，MetaCtrl能够帮助用户更高效地解决复杂问题，降低计算资源的消耗，未来可能对智能助手和自动化决策系统产生深远影响。

📄 摘要（原文）

Large reasoning models improve performance on challenging problems by allocating additional computation before answering, but longer reasoning does not always lead to better results and can introduce substantial redundant reasoning on simple problems. Conversely, aggressively shortening reasoning can degrade performance on difficult ones. Effective reasoning therefore requires dynamically deciding when additional computation is useful based on the reasoner's capabilities and evolving solution state. Existing approaches often rely on predefined budgets or intervention rules, retrain the target reasoner, or require additional supervision. We introduce MetaCtrl, a lightweight controller that adaptively regulates a frozen reasoner without predefined token budgets or reasoner retraining. We formulate reasoning regulation as a sequential metacognitive control problem: MetaCtrl observes the evolving reasoning trace and decides whether to continue, simplify, skip redundant steps, or conclude reasoning. It is trained directly with reinforcement learning using a reward that prioritizes correctness while favoring shorter trajectories among correct solutions, requiring neither supervised intervention trajectories nor problem-specific budgets. Across seven benchmarks spanning mathematics, science, and code, MetaCtrl consistently improves the accuracy of LRMs while reducing their reasoning length. On DeepSeek-R1-Distill-Qwen-7B, it improves average accuracy by 4.7 points while reducing generation length by 53.3%. Without further training, the same controller transfers to an unseen reasoner (e.g., Qwen3-14B), improving average accuracy by 2.9 points and reducing generation length by 50.3%. These results establish MetaCtrl as a plug-and-play controller for improving reasoning accuracy while substantially reducing inference-time generation. The code is available at https://github.com/binbin2xs/MetaCtrl.