TempoMoE: Identifying and Steering Fast-Slow Thinking Experts for Efficient Multimodal Reasoning

📄 arXiv: 2610.25999v1 📥 PDF

作者: Xiyue Zhang, Keru Zhou, Ziyi Wang, Bing Hu, Li Wang

分类: cs.CL, cs.CV, cs.LG

发布日期: 2026-10-19

备注: 11 pages, 3 figures

💡 一句话要点

提出TempoMoE以解决多模态推理中的思维深度控制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 混合专家 推理深度控制 节奏对比 动态路由

📋 核心要点

  1. 现有多模态推理模型在处理简单输入时常常过度思考，导致效率低下和准确性下降。
  2. 论文提出TempoMoE，通过节奏对比路由分析识别快速和慢速思维专家，动态调整推理深度。
  3. 实验结果表明，TempoMoE在多个基准上相较于传统方法提高了准确性并显著减少了输出令牌。

📝 摘要（中文）

多模态混合专家（MoE）推理模型在复杂任务中依赖长链思维（CoT），但在处理简单输入时常常过度思考，导致令牌成本和延迟增加，甚至有时降低准确性。现有方法在训练期间优化推理长度或在推理时施加外部控制，但未能揭示推理机制的本质。我们发现快速和慢速思维表现出不同的专家路由模式，通过固定输入并仅改变推理节奏，能够产生稳定的路由变化。基于此发现，我们提出了TempoMoE，一个无训练的两阶段框架，通过节奏对比路由分析识别快速和慢速思维专家，并根据样本难度重新分配路由权重。我们在多个基准上评估TempoMoE，结果显示其在提高准确性的同时减少输出令牌，准确性提升最高达2.6分，令牌减少最高达35.4%。

🔬 方法详解

问题定义：本论文旨在解决多模态推理中专家路由机制的不透明性，尤其是在处理简单输入时的过度思考问题。现有方法未能有效控制推理深度，导致效率低下和准确性下降。

核心思路：论文的核心思路是通过节奏对比路由分析来识别快速和慢速思维专家，并根据输入的难度动态调整路由权重，从而实现推理深度的适应性控制。

技术框架：TempoMoE框架分为两个阶段：第一阶段通过分析输入的推理节奏来识别专家类型，第二阶段根据样本难度重新分配路由权重，增强快速思维专家的作用并抑制慢速思维专家。

关键创新：TempoMoE的主要创新在于其无训练的特性和基于节奏对比的专家识别方法，这与现有方法的训练依赖性形成了鲜明对比，提供了更灵活的推理控制。

关键设计：在设计上，TempoMoE通过引入动态路由权重调整机制，结合样本难度和专家类型，优化了推理链的长度和深度，确保在不同难度的输入下都能保持高效的推理性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，TempoMoE相比于传统的Vanilla方法，准确性提升最高达2.6分，同时输出令牌减少最高达35.4%。这一结果表明TempoMoE在提高推理效率和准确性方面具有显著优势。

🎯 应用场景

TempoMoE的研究成果可广泛应用于多模态推理任务，如图像与文本的结合分析、智能问答系统以及复杂决策支持系统等领域。其动态控制推理深度的能力将提升这些系统的响应速度和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal Mixture-of-Experts (MoE) reasoning models rely on long chain-of-thought (CoT) for complex tasks, yet often overthink easy inputs, increasing token cost and latency, and sometimes degrading accuracy. Existing methods optimize reasoning length during training or impose external control at inference, but leave the underlying reasoning mechanism a black box. We find that fast and slow thinking exhibit distinct expert-routing patterns: holding the input fixed and varying only the prompted reasoning tempo produces stable routing shifts. Suppressing slow-thinking experts shortens the reasoning chain, whereas suppressing fast-thinking experts lengthens it, providing causal evidence that these experts influence reasoning depth. Based on this finding, we propose TempoMoE, a training-free, two-stage framework. It identifies fast- and slow-thinking experts via tempo-contrastive routing analysis and redistributes routing weights within the original top-k set according to sample difficulty. It amplifies fast-thinking experts and suppresses slow-thinking experts on easy inputs and reverses this adjustment on hard ones, enabling difficulty-adaptive control over reasoning depth. We evaluate TempoMoE on Kimi-VL, Qwen3-VL, and ERNIE-4.5-VL across six benchmarks. Compared with Vanilla, TempoMoE consistently improves accuracy while reducing output tokens, with accuracy gains of up to 2.6 points and token reductions of up to 35.4%.