T-Router: Learning Thalamic Routing for Reasoning with Parameter-Efficient Reinforcement Learning

📄 arXiv: 2609.39109v1 📥 PDF

作者: Liuxian Ma, Jiale Dai, Jiaqi Li, Lu Mi

分类: cs.LG, cs.AI, cs.NE

发布日期: 2026-09-30

💡 一句话要点

提出T-Router以实现高效的推理强化学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 参数高效 推理能力 计算重用 深度学习 丘脑路由

📋 核心要点

  1. 现有的强化学习方法在推理能力和参数效率上存在不足，难以在复杂任务中实现高效的计算重用。
  2. 本文提出的T-Router通过集中适应已完成的计算，利用压缩的可寻址存储库和深度递归控制器来优化推理过程。
  3. 实验结果显示，T-Router在参数使用上极为高效，显著提升了推理性能，MathAvg达到了83.64，超越了多种基线方法。

📝 摘要（中文）

参数高效的强化学习旨在通过紧凑的可训练接口来改善推理能力。本文介绍了丘脑路由器（T-Router），其集中适应于已完成计算的重用。一个压缩的、可寻址的存储库保存块更改；深度递归控制器调节其选择和相对规模的写回。此耦合为丘脑上下文相关的路由提供了具体的计算形式：学习接收层使用哪些早期贡献及其影响。正确性奖励训练接口，同时保留主干参数和层次顺序。在一个895亿参数的主干上，T-Router分配了4173万参数（占主干的0.466%），在GSM8K RL上达到了83.64 +/- 1.16的MathAvg，相比之下，完整参数的GRPO在三轮评估中仅为73.79 +/- 1.83。在相似的参数预算和匹配重试下，其超越了LoRA的77.28 +/- 1.95 MathAvg，改善了所有三个任务家族，并将平均AIME准确率从48.33提高到60.56。这些结果确立了受控计算重用作为实现参数高效推理强化学习的有效途径。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在推理时的参数效率不足和计算重用问题，现有方法往往需要大量参数来实现复杂的推理任务。

核心思路：T-Router通过集中适应已完成的计算，利用一个压缩的可寻址存储库来保存计算块的更改，从而优化推理过程，减少参数使用。

技术框架：整体架构包括一个压缩的存储库和一个深度递归控制器，控制器负责选择和写回相对规模的计算结果，形成丘脑上下文相关的路由。

关键创新：T-Router的主要创新在于其通过耦合上下文相关的路由与计算重用，提供了一种新的计算形式，显著提高了推理效率和准确性。

关键设计：在参数设置上，T-Router仅使用4173万参数（占主干的0.466%），并通过正确性奖励机制训练接口，保持主干参数和层次顺序不变。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，T-Router在GSM8K RL任务上达到了83.64 +/- 1.16的MathAvg，显著高于完整参数的GRPO（73.79 +/- 1.83）和LoRA（77.28 +/- 1.95），同时将平均AIME准确率从48.33提升至60.56，展现了其在参数效率和推理能力上的优势。

🎯 应用场景

该研究的潜在应用领域包括教育、金融和医疗等需要复杂推理的场景。通过提高推理效率，T-Router能够在资源受限的环境中实现更高的智能决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Parameter-efficient reinforcement learning aims to improve reasoning with a compact trainable interface to a pretrained model. We introduce the Thalamic Router (T-Router), which concentrates adaptation on the reuse of completed computations. A compressed, addressable bank preserves block changes; a depth-recurrent controller conditions their selection and relative-scale writeback. This coupling gives thalamic context-dependent routing a concrete computational form: learn which earlier contributions a receiving layer uses, and with what influence. Correctness rewards train the interface while preserving backbone parameters and layer order. On an 8.95B-parameter backbone, T-Router allocates 41.73M parameters (0.466% of the backbone) and achieves 83.64 +/- 1.16 MathAvg after GSM8K RL, compared with 73.79 +/- 1.83 for full-parameter GRPO across three evaluation rounds. At a comparable parameter budget and with matched retries, it exceeds LoRA's 77.28 +/- 1.95 MathAvg, improving all three task families and raising mean AIME accuracy from 48.33 to 60.56. Capacity-controlled comparisons favor addressable block changes and recurrent context; separate search training extends the interface to tool-mediated reasoning. These results establish controlled computation reuse as an effective route to parameter-efficient reasoning reinforcement learning.