TSRouter: Dynamic Modality-Model Selection for Time Series Reasoning
作者: Fangxu Yu, Tao Feng, Dehai Min, Lu Cheng, Ge Liu, Tianyi Zhou
分类: cs.LG
发布日期: 2026-07-09
备注: Accepted to COLM 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出TSRouter以解决时间序列推理中的动态模态选择问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列推理 动态模态选择 图神经网络 多模态学习 性能优化
📋 核心要点
- 现有的时间序列推理方法在模态选择上存在不足，难以有效结合LLMs和VLMs的优势。
- TSRouter通过构建异构图，动态选择最适合的模态和模型，以优化时间序列推理的性能。
- 实验结果显示，TSRouter在多项任务上相较于基线有显著提升，且具备良好的通用性和低计算开销。
📝 摘要（中文）
时间序列推理对现实问题解决至关重要。大型语言模型（LLMs）和视觉语言模型（VLMs）在处理时间序列数据时各有优势，LLMs在数值理解上表现出色，但在捕捉全局模式方面存在困难；而VLMs则能有效捕捉这些模式，但可能会丢失细节。动态选择最合适的模态和模型对于每个查询至关重要，但由于任务、查询、模态和模型之间复杂的交互关系，这一过程充满挑战。为此，本文提出了TSRouter，一个基于图的动态路由框架，通过构建异构图来上下文化查询特征、模态属性和模型能力之间的交互。实验结果表明，TSRouter在四个不同的时间序列推理任务上相较于多种基线有16%到46%的相对提升，并且在未见模型和新任务上表现出强大的零-shot通用性，同时通过成本感知优化降低计算开销。
🔬 方法详解
问题定义：本文旨在解决时间序列推理中模态和模型的动态选择问题。现有方法在处理不同任务时，往往无法有效结合LLMs和VLMs的优势，导致性能不佳。
核心思路：TSRouter的核心思路是构建一个异构图，以上下文化查询特征、模态属性和模型能力之间的复杂交互，从而动态选择最优的模态和模型。通过将路由过程形式化为候选评分问题，能够根据用户定义的性能和成本偏好进行选择。
技术框架：TSRouter的整体架构包括四个主要模块：任务节点、查询节点、模态节点和模型节点。首先，构建异构图以表示这些节点之间的关系；然后，通过评分机制评估每对模态-模型组合的适用性，最终选择最佳候选。
关键创新：TSRouter的主要创新在于其图结构的动态路由机制，能够有效捕捉任务与模态之间的复杂关系。这一设计与传统的静态选择方法本质上不同，提供了更灵活的适应能力。
关键设计：在模型设计中，TSRouter采用了用户定义的性能-成本偏好作为评分标准，确保所选模态和模型在满足性能要求的同时，尽可能降低计算开销。
🖼️ 关键图片
📊 实验亮点
在四个不同的时间序列推理任务中，TSRouter相较于多种基线模型实现了16%到46%的相对性能提升。此外，TSRouter在未见模型和新任务上展现出强大的零-shot通用性，同时通过成本感知优化显著降低了计算开销。
🎯 应用场景
TSRouter在金融预测、医疗监测和智能制造等领域具有广泛的应用潜力。通过动态选择最优模态和模型，该方法能够提高时间序列数据分析的准确性和效率，进而推动相关行业的智能化发展。未来，TSRouter的框架可以扩展到更多复杂的多模态任务中，进一步提升其实际价值。
📄 摘要（原文）
Time series reasoning is essential for real-world problem-solving. While both Large Language Models (LLMs) and Vision-Language Models (VLMs) can reason about time-series data, their capabilities are complementary: LLMs process time series as text sequences and thus preserve exact numerical understanding, but struggle with global patterns, whereas VLMs efficiently capture these patterns by visualizing time series but may lose fine-grained details. Moreover, models vary significantly in task-specific expertise and inference costs. Dynamically selecting the most suitable modality and model for each query is therefore crucial, yet challenging because it requires modeling the complex interactions among tasks, queries, modalities, and models, which carry rich contextual signals. To this end, we introduce TSRouter, a graph-based dynamic routing framework. TSRouter constructs a heterogeneous graph of task, query, modality, and model nodes to contextualize the interactions among query characteristics, modality attributes, and model capabilities. TSRouter formulates routing as a candidate scoring problem, where each modality-model pair is evaluated based on user-defined performance-cost preferences to select the optimal candidate. Comprehensive evaluations on 4 distinct time series reasoning tasks reveal that TSRouter substantially outperforms diverse baselines with 16\% to 46\% relative improvements. Furthermore, TSRouter demonstrates robust zero-shot plug-and-play generalization to unseen models and novel tasks and preserves high performance while reducing computational overhead through cost-aware optimization. Our code is available at https://github.com/tianyi-lab/TSRouter.