Raw-Routed Mixture of Adapters: A Causal Intervention for Routing Collapse in Time Series Foundation Models

📄 arXiv: 2609.39445v1 📥 PDF

作者: Hung Phan, Thuy T. Nguyen, Minh Ngoc Dinh, Nhat-Quang Tran

分类: cs.LG, stat.ML

发布日期: 2026-09-30

备注: Accepted at NeurIPS 2026 (poster). 50 pages, 9 figures

💡 一句话要点

提出Raw-Routed Mixture of Adapters以解决时间序列基础模型中的路由崩溃问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列模型 归一化 路由机制 专家混合 机器学习

📋 核心要点

  1. 现有的时间序列基础模型在处理异构数据时表现不佳，导致模型适应性不足。
  2. 论文提出Raw-Routed Mixture of Adapters（RR-MoA），通过在原始输入上进行路由，避免了归一化引起的路由崩溃。
  3. 实验结果显示，RR-MoA在54个比较中均优于最强固定适配器，且在多个主干和插补任务中表现出色。

📝 摘要（中文）

时间序列基础模型（TSFMs）通常通过将单个可训练头附加到冻结的主干上来适应新数据，这种一刀切的设置无法适应异构模式。用专家混合替换头部是标准升级，但在实例归一化主干上失败，导致路由熵崩溃为零，所有输入被一个专家吸收，这种失败称为归一化引起的路由崩溃。标准的MoE救助机制无法修复这一问题，因为原因在于路由器的输入，而非其优化。通过互信息分解，论文提出了一种最小的因果干预：Raw-Routed Mixture of Adapters（RR-MoA），该方法在原始、未归一化的输入上进行路由。在严格冻结的主干下，RR-MoA在54个比较中胜过最强的固定适配器，并显著优于LoRA、TRACE、AdaMix和完全微调。

🔬 方法详解

问题定义：论文要解决的问题是时间序列基础模型在实例归一化下的路由崩溃现象，现有方法无法有效适应异构数据，导致模型性能下降。

核心思路：论文提出的核心思路是Raw-Routed Mixture of Adapters（RR-MoA），该方法通过在未归一化的原始输入上进行路由，避免了归一化对路由器输入的影响，从而提高模型的适应性。

技术框架：RR-MoA的整体架构包括一个冻结的主干网络和一个新的路由机制，路由机制直接基于原始输入进行决策，而不是依赖于归一化后的特征。

关键创新：最重要的技术创新点在于引入了原始路由机制，解决了传统方法中因归一化导致的路由崩溃问题，与现有的专家混合方法相比，RR-MoA在处理异构数据时表现更为优越。

关键设计：在设计上，RR-MoA采用了最小的因果干预策略，确保路由器能够获取必要的统计信息，此外，实验中还对比了多种参数设置和损失函数，以验证其有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

RR-MoA在54个比较中均优于最强的固定适配器，并在多个主干和插补任务中表现出色，整体性能提升幅度达12-79%。该方法有效解决了归一化引起的路由崩溃问题，展示了其广泛的适用性和优越性。

🎯 应用场景

该研究的潜在应用领域包括金融市场分析、气候变化监测和智能制造等时间序列数据处理场景。通过提高模型对异构数据的适应性，RR-MoA能够在实际应用中提供更准确的预测和决策支持，未来可能推动相关领域的技术进步。

📄 摘要（原文）

Time series foundation models (TSFMs) commonly adapt to new data by attaching a single trainable head to a frozen backbone, a one-size-fits-all setup that underfits heterogeneous regimes. Replacing the head with a mixture of experts is the standard upgrade, but on instance-normalized backbones (the dominant TSFM design class) it fails: routing entropy collapses to zero and one expert absorbs every input, a failure we call normalization-induced routing collapse. Standard MoE rescue mechanisms do not repair it, because the cause is in the router's input, not its optimization. Pre-encoder normalization strips the statistics a router would need to tell regimes apart. A mutual-information decomposition makes this precise and yields a signal-ratio that, computed before training, predicts dataset vulnerability (Spearman $ρ= -0.88$). Eight causal controls, including a vision-modality replication, isolate instance normalization as the cause. The prescription is a minimal causal intervention: Raw-Routed Mixture of Adapters (RR-MoA), which routes on the raw, pre-normalization input. Under a strictly frozen backbone, RR-MoA wins 54/54 comparisons against the strongest fixed adapter and significantly outperforms LoRA, TRACE, AdaMix, and full fine-tuning. The effect generalizes across six backbones and an imputation task. Frozen RR-MoA also beats full fine-tuning by 12-79% (the Frozen Paradox); two architecturally distinct variants confirm the principle generalizes beyond this specific router.