Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time

📄 arXiv: 2509.22572v1 📥 PDF

作者: Yixuan Han, Fan Ma, Ruijie Quan, Yi Yang

分类: cs.AI, cs.CL, cs.LG

发布日期: 2025-09-26

💡 一句话要点

提出动态专家搜索(DES)，提升MoE LLMs在推理时的性能和稳定性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 测试时缩放 动态专家搜索 推理优化 大语言模型

📋 核心要点

  1. 现有测试时缩放方法主要关注输出层面的采样，忽略了MoE LLM中专家激活数量变化带来的多样性。
  2. 提出动态专家搜索(DES)，通过动态调整激活专家数量，在推理过程中探索更多样化的解决方案。
  3. 实验表明，DES在数学、代码和知识推理任务上优于现有TTS基线，且无需额外计算成本。

📝 摘要（中文）

测试时缩放(TTS)通过在推理期间分配额外的计算来增强大型语言模型(LLM)的推理能力。然而，现有方法主要依赖于输出层面的采样，而忽略了模型架构的作用。在主流的混合专家(MoE) LLM中，我们观察到改变激活专家的数量会产生具有稳定准确性的互补解决方案集，这揭示了一个新的且未被充分探索的多样性来源。受此观察的启发，我们提出了动态专家搜索(DES)，这是一种TTS策略，它将专家激活提升为搜索空间的可控维度。DES集成了两个关键组件：(1)动态MoE，它能够在推理期间直接控制专家数量，以生成多样化的推理轨迹，而无需额外成本；(2)专家配置继承，它在推理路径中保持一致的专家数量，同时在不同运行中改变它们，从而平衡整个搜索过程中的稳定性和多样性。在MoE架构、验证器和推理基准(即数学、代码和知识)上的大量实验表明，DES可靠地优于TTS基线，在不增加额外成本的情况下提高了准确性和稳定性。这些结果表明，DES是一种实用且可扩展的架构感知TTS形式，说明了现代LLM中的结构灵活性如何促进推理。

🔬 方法详解

问题定义：现有测试时缩放(TTS)方法主要集中在输出层面的采样，例如调整温度系数或top-k采样，而忽略了模型架构本身提供的多样性。对于混合专家(MoE) LLM，不同数量的激活专家可以产生互补的解决方案，但现有方法未能有效利用这一特性。因此，需要一种能够充分利用MoE架构多样性的TTS方法，以提升推理性能和稳定性。

核心思路：论文的核心思路是将专家激活数量作为测试时搜索空间的一个可控维度。通过动态调整激活专家的数量，可以生成多样化的推理轨迹，从而探索更广泛的解决方案空间。同时，为了平衡搜索过程中的稳定性和多样性，论文提出了专家配置继承机制，在推理路径中保持专家数量的一致性，并在不同运行中改变它们。

技术框架：DES主要包含两个关键组件：动态MoE和专家配置继承。动态MoE允许在推理期间直接控制激活专家的数量，而无需重新训练模型。专家配置继承则通过在推理路径中保持一致的专家数量，并在不同运行中改变它们，来平衡稳定性和多样性。整体流程如下：首先，通过动态MoE生成多个具有不同专家配置的推理轨迹；然后，利用专家配置继承机制，在推理路径中保持专家数量的一致性；最后，对多个推理轨迹的结果进行聚合，得到最终的推理结果。

关键创新：DES的关键创新在于将专家激活数量作为测试时搜索空间的一个可控维度，并提出了动态MoE和专家配置继承机制。与现有TTS方法相比，DES能够更充分地利用MoE架构的多样性，从而提升推理性能和稳定性。此外，DES无需额外训练成本，可以直接应用于现有的MoE LLM。

关键设计：动态MoE通过修改模型的路由机制来实现，允许在推理期间指定激活专家的数量。专家配置继承通过维护一个专家配置列表来实现，每个配置指定了在推理路径中使用的专家数量。在每次推理运行中，从列表中随机选择一个配置，并将其应用于整个推理路径。具体的专家数量选择策略和配置列表的设计是影响DES性能的关键因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DES在数学、代码和知识推理任务上显著优于现有TTS基线。例如，在某些任务上，DES的准确率提升超过5%。此外，DES还提高了推理的稳定性，减少了推理结果的方差。这些结果表明，DES是一种有效且实用的架构感知TTS方法。

🎯 应用场景

该研究成果可应用于各种需要高性能和高稳定性的推理任务，例如数学问题求解、代码生成、知识问答等。通过动态调整专家激活数量，可以提升LLM在这些任务上的准确性和鲁棒性。此外，该方法无需额外训练成本，易于部署和应用。

📄 摘要（原文）

Test-Time Scaling (TTS) enhances the reasoning ability of large language models (LLMs) by allocating additional computation during inference. However, existing approaches primarily rely on output-level sampling while overlooking the role of model architecture. In mainstream Mixture-of-Experts (MoE) LLMs, we observe that varying the number of activated experts yields complementary solution sets with stable accuracy, revealing a new and underexplored source of diversity. Motivated by this observation, we propose Dynamic Experts Search (DES), a TTS strategy that elevates expert activation into a controllable dimension of the search space. DES integrates two key components: (1) Dynamic MoE, which enables direct control of expert counts during inference to generate diverse reasoning trajectories without additional cost; and (2) Expert Configuration Inheritance, which preserves consistent expert counts within a reasoning path while varying them across runs, thereby balancing stability and diversity throughout the search. Extensive experiments across MoE architectures, verifiers and reasoning benchmarks (i.e., math, code and knowledge) demonstrate that DES reliably outperforms TTS baselines, enhancing accuracy and stability without additional cost. These results highlight DES as a practical and scalable form of architecture-aware TTS, illustrating how structural flexibility in modern LLMs can advance reasoning.