PAMF: Prior-Aware Multimodal Fusion for Incomplete Time Series Data

📄 arXiv: 2606.06328v1 📥 PDF

作者: Ziwen Kan, Wugeng Zheng, Tianlong Chen, Song Wang

分类: cs.LG, cs.AI

发布日期: 2026-06-04

备注: 5 figures. arXiv preprint version

💡 一句话要点

提出PAMF以解决多模态时间序列数据缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态时间序列 缺失数据插补 优先感知 流匹配 医疗数据分析 机器学习 深度学习

📋 核心要点

  1. 现有方法通常未能有效处理多模态时间序列数据中的不同缺失模式，导致性能下降。
  2. PAMF框架通过优先感知流匹配和权重共享，明确处理不同缺失模式并将插补与下游任务结合。
  3. 在多个多模态医疗时间序列基准测试中，PAMF展示了优于现有方法的整体下游性能。

📝 摘要（中文）

在医疗保健领域，多模态时间序列任务常常面临不完整观测的问题，例如ECG段丢失或整个呼吸通道不可用。现有方法通常通过掩码或缺失嵌入隐式表示未观测数据，且大多数仅针对单一缺失模式。为了解决这些局限性，本文提出了PAMF框架，明确处理不同缺失模式，并通过优先感知流匹配和权重共享将插补与下游预测相结合。实验结果表明，PAMF在多种数据集和缺失设置下的下游性能优于现有基线。

🔬 方法详解

问题定义：本文旨在解决多模态时间序列数据中的缺失问题，现有方法主要通过掩码或缺失嵌入处理未观测数据，未能有效学习实例特定的缺失信息，且大多数方法仅针对单一缺失模式。

核心思路：PAMF框架的核心思想是明确处理不同的缺失模式，并通过优先感知流匹配将插补过程与下游预测任务相结合，从而提高插补的有效性和下游任务的性能。

技术框架：PAMF的整体架构包括两个主要模块：首先是流匹配源状态的初始化，使用类型特定的先验来区分缺失类型；其次是通过架构匹配的编码器实现插补与分类之间的连接，利用权重共享将任务相关的表示转移到插补过程中。

关键创新：PAMF的主要创新在于其优先感知流匹配机制，能够显著区分不同缺失模式，并将插补过程与下游任务紧密结合，这与现有方法的孤立处理方式形成鲜明对比。

关键设计：在设计上，PAMF采用了特定的损失函数来优化插补与分类的联合性能，并通过权重共享机制确保任务相关信息在插补过程中的有效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个多模态医疗时间序列基准测试中，PAMF展示了显著的性能提升，相较于现有基线方法，其下游任务的整体性能提升幅度达到XX%，在不同缺失设置下均表现出色。

🎯 应用场景

该研究的潜在应用领域包括医疗监测、智能健康管理和生物信号分析等。通过有效处理时间序列数据中的缺失问题，PAMF能够提升医疗设备的监测精度和可靠性，进而改善患者的健康管理和治疗效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

In healthcare, multimodal time series tasks often operate on incomplete observations in practice, for example when ECG segments are lost because electrodes detach or an entire respiratory channel is unavailable during overnight monitoring. Such missingness typically appears in two structurally distinct patterns: within-modality missing, where values are absent within an otherwise observed modality, and modality-level missing, where an entire modality is unavailable. Existing methods typically represent unobserved data implicitly through masks or missing embeddings, without learning instance-specific missing information, and most are designed for only one missingness pattern. A natural approach is to explicitly estimate the missing data; however, existing imputation methods treat missingness uniformly despite their different structural priors, and the imputation process is often isolated from downstream tasks, preventing downstream tasks from guiding imputation toward more informative representations. To address these limitations, we present PAMF, a multimodal time-series framework that explicitly handles different missingness patterns while coupling imputation with downstream prediction through prior-aware flow matching and weight sharing. Specifically, the method initializes the flow-matching source state with type-specific priors to distinguish two missing types. It further connects imputation and classification through architecturally matched encoders with weight sharing, transferring task-relevant representations into the imputation process. Experiments on multiple multimodal healthcare time-series benchmarks show that the proposed method achieves the strongest overall downstream performance across diverse datasets and missing settings compared with existing baselines.