CounterRoute: Self-Routed Reasoning via Hierarchical Counterfactual Credit Assignment
作者: Ruochen Jiao, Besnik Fetahu, Zhenyu Shi, Priyanka Nigam
分类: cs.AI
发布日期: 2026-09-24
备注: 16 pages including 7 tables and 4 figures, under review
💡 一句话要点
提出CounterRoute以解决推理模型效率低下问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推理模型 强化学习 自动化路由 自然语言处理 效率提升
📋 核心要点
- 现有推理模型在面对简单问题时，常产生冗长的思考过程，导致计算资源浪费，且用户选择模式的方式不够自动化。
- CounterRoute通过在线强化学习框架，自动学习路由和模式条件响应，避免了特定方法的预热过程，提高了模型的效率。
- 在九个基准测试中，CounterRoute在准确性和效率上均优于传统的启发式和学习的自适应路由方法，显著减少了生成的令牌数量。
📝 摘要（中文）
具备推理能力的语言模型常常在直接回答足够时产生冗长的思考链，浪费推理计算资源。现有的双模态模型将选择权留给用户，自动化这一过程面临挑战。本文提出CounterRoute，一个在线强化学习框架，能够从原生双模态检查点中直接学习路由和模式条件响应，而无需特定方法的SFT预热。通过配对当前策略的反事实回滚，仅将跨模式的信用分配给路由令牌，同时在模式内使用GRPO训练响应令牌。实验结果表明，CounterRoute在九个基准测试中比启发式和学习的自适应路由方法更好地平衡了准确性和效率。
🔬 方法详解
问题定义：本文旨在解决推理能力模型在简单问题上产生冗长思考链的问题，现有方法在自动化选择推理模式方面存在不足。
核心思路：CounterRoute通过在线强化学习框架，结合路由和模式条件响应的学习，自动化推理过程，提升效率。
技术框架：该方法从原生双模态检查点出发，采用配对当前策略的反事实回滚，仅将信用分配给路由令牌，同时通过GRPO训练响应令牌，分阶段进行训练。
关键创新：CounterRoute的创新在于其能够在没有特定方法预热的情况下，直接从双模态检查点学习，且通过自我路由课程稳定早期训练。
关键设计：在设计中，采用了配对到自我路由的课程，初期强制回滚以稳定训练，随后逐步增加自我路由更新，优化了训练过程。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在实验中，CounterRoute在九个基准测试中表现优异，相较于始终思考的检查点，Qwen3-8B模型的宏平均准确性提升，同时生成的令牌数量减少了51%，Qwen3-14B则减少了41%。在指令跟随和常识基准测试中，思考率降至1%，而响应质量却有所提升。
🎯 应用场景
CounterRoute的研究成果具有广泛的应用潜力，尤其在需要高效推理的自然语言处理任务中，如问答系统、对话生成和知识检索等领域。其自动化路由能力可以显著提升模型的响应速度和准确性，未来可能推动智能助手和自动化客服等应用的发展。
📄 摘要（原文）
Reasoning-capable language models often produce long chains of thought when direct answers suffice, wasting inference compute. Many dual-mode models leave this choice to users. Automating it is challenging because routing targets evolve with the policy, initial mode preferences destabilize exploration, and sequence-level objectives entangle routing with response learning. We introduce CounterRoute, an online reinforcement-learning framework that jointly learns routing and modeconditioned responses in one shared policy directly from a native dual-mode checkpoint, without method-specific SFT warm-up. Paired current-policy counterfactual rollouts assign cross-mode credit only to the routing token, while within-mode GRPO trains response tokens. A paired-to-self-routed curriculum stabilizes early training with forced rollouts from both modes, then increases self-routed updates to improve autonomous routing. Across nine benchmarks, CounterRoute better balances accuracy and efficiency than heuristic and learned adaptive-routing methods. Relative to always-thinking checkpoints, it improves macro-average accuracy while reducing mean generated tokens by 51% for Qwen3-8B and 41% for Qwen3-14B. On instruction-following and commonsense benchmarks where direct answering is strong, think rates fall as low as 1% while response quality improves. Despite training only on math and instruction following, its routing behavior and response quality generalize to held-out coding, science, knowledge, and commonsense benchmarks.