BioSync: Transformer-Based Cross-Modal Fusion for a Multimodal Physiological Digital Biomarker

📄 arXiv: 2609.04504v1 📥 PDF

作者: Seyed Mahmoud Sajjadi Mohammadabadi

分类: cs.AI, cs.IR

发布日期: 2026-09-03

💡 一句话要点

提出BioSync以解决多模态生理数字生物标志物融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 生理信号 数字生物标志物 自注意力机制 健康监测 机器学习

📋 核心要点

  1. 现有方法在多模态生理数据融合中面临噪声敏感和信息丢失的问题，难以全面反映生理状态。
  2. BioSync通过多头自注意力机制和线性分支结构，融合多种生理信号，旨在提取联合观察中的潜在信息。
  3. 实验结果表明，BioSync在认知衰退和代谢自主队列中的AUC和准确率均优于传统的特征连接方法，验证了其有效性。

📝 摘要（中文）

生理状态的心脏、神经、行为和语音测量来自可穿戴和移动设备，提供了部分且易受噪声影响的视角。BioSync将这些测量结合成BioSync指数（BSI），这是在BEST框架下定义的连续复合数字生物标志物。该模型对模态标记应用多头自注意力，并添加了一个线性分支，其假设类包括标准特征连接。BioSync在两个文献支持的合成队列上进行了评估，结果显示其在认知衰退队列和代谢自主队列中的表现优于简单的特征连接方法。

🔬 方法详解

问题定义：本论文旨在解决多模态生理数据融合中的信息丢失和噪声敏感性问题。现有方法往往依赖简单的特征连接，无法充分利用各模态之间的潜在信息。

核心思路：BioSync的核心思路是利用多头自注意力机制对模态标记进行处理，同时引入线性分支以增强模型的表达能力，从而更好地捕捉联合观察中的信息。

技术框架：BioSync的整体架构包括多头自注意力模块和线性分支，首先对输入的多模态数据进行特征提取，然后通过自注意力机制进行信息融合，最后输出BioSync指数（BSI）。

关键创新：BioSync的主要创新在于其结合了多头自注意力和线性分支的复合结构，这一设计使得模型能够更有效地捕捉模态间的关联信息，优于传统的特征连接方法。

关键设计：在模型设计中，采用了匹配模态丢弃训练策略，并在损失函数中考虑了多模态信息的平衡，确保了模型在不同模态下的鲁棒性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，BioSync在认知衰退队列中的AUC达到0.928，优于传统特征连接方法的0.926。在代谢自主队列中，BioSync的准确率和F1值分别为0.764和0.766，均高于特征连接的0.756和0.758，验证了其有效性和优势。

🎯 应用场景

BioSync的研究成果在健康监测、疾病预警和个性化医疗等领域具有广泛的应用潜力。通过综合多种生理信号，BioSync能够提供更全面的生理状态评估，帮助医生做出更准确的诊断和治疗决策。

📄 摘要（原文）

Cardiac, neural, behavioral, and speech measurements from wearable and mobile devices provide partial, noise-sensitive views of physiological state. BioSync combines these measurements into the \textbf{BioSync Index (BSI)}, a continuous composite digital biomarker defined under the BEST framework. The model applies multi-head self-attention to modality tokens and adds a linear branch whose hypothesis class includes standard feature concatenation. This architecture is motivated by latent-variable measurement theory and by the possibility that joint observations contain information unavailable from individual modalities. We evaluated BioSync on two literature-informed synthetic cohorts: a four-modality cognitive-decline cohort using HRV, EEG, actigraphy, and speech, and a metabolic-autonomic cohort structured around the public AI-READI wearable schema. In the cognitive cohort, BioSync and concatenation obtained AUCs of 0.928 and 0.926, respectively. In the metabolic cohort, BioSync obtained accuracy/F1 of 0.764/0.766, compared with 0.756/0.758 for concatenation. The BSI correlated with latent severity in both cohorts ($r=0.91$ and $r=0.68$). A pure-attention ablation obtained cognitive-cohort AUC 0.911, locating the increase to 0.928 in the combined wide-and-deep architecture. With matched modality-dropout training, BioSync led concatenation at five of six cognitive-cohort corruption rates and at the highest metabolic-cohort rate. Its cognitive-cohort AUC was also higher than five published digital-biomarker reference values, although differences in datasets and tasks preclude a controlled benchmark claim. Comparison with single-modality, early-fusion, and late-fusion designs across six prespecified criteria identifies the model's computational properties; validation on real cohorts remains necessary.