Emergent Symbolic Structure in Health Foundation Models: Extraction, Alignment, and Cross-Modal Transfer
作者: Gajendra Katuwal, Advait Koparkar, Salar Abbaspourazad, Anshuman Mishra, Sarvesh Kirthivasan
分类: cs.LG
发布日期: 2026-05-08
备注: 8 pages ICML workshop, 4 main figures
💡 一句话要点
提出一种基于符号分解的后训练框架，实现健康基础模型嵌入空间的对齐与跨模态迁移。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 健康基础模型 表征学习 跨模态迁移 可解释人工智能 可穿戴传感器 嵌入空间对齐
📋 核心要点
- 现有健康基础模型存在“黑盒”特性，难以解释嵌入空间中编码的生理意义，且跨模态知识迁移通常依赖昂贵的联合训练。
- 本文提出一种后训练分解框架，将冻结的嵌入向量映射为可解释的符号方向，通过符号对齐实现不同模态间的空间映射。
- 实验表明该方法在保留95%以上域内性能的同时，实现了高效的跨模态迁移，揭示了模型内部存在通用的生理信息低维子空间。
📝 摘要（中文）
健康基础模型（FMs）能从可穿戴传感器数据中学习有效的表征，但如何解释其编码内容以及在训练后实现跨模态知识迁移仍具挑战。本文提出了一种后训练框架，将冻结的嵌入向量分解为可解释的“符号”方向，并利用这些符号在无需重训练的情况下对齐嵌入空间。我们在三种针对光电容积脉搏波（PPG）和加速度计数据的基础模型上进行了评估，这些模型基于约17.2万名参与者的2000万分钟无标签数据预训练。研究发现，提取的符号与健康状况及生理属性具有选择性关联，且这些关联在不同模态和架构间部分共享。通过符号进行的跨模态迁移保留了超过95%的域内性能，且在域间表现出近乎对称的特性，在少量配对数据下即可饱和。这表明对齐过程恢复了一个富含生理信息的共享低维子空间，证明了健康FM嵌入中存在可跨模态共享的符号化组织。
🔬 方法详解
问题定义：现有健康基础模型（FMs）虽然在海量无标签数据上表现出色，但其高维嵌入空间缺乏可解释性，且不同传感器模态（如PPG与加速度计）之间的表征空间往往是孤立的，难以直接进行跨模态迁移。
核心思路：论文提出将预训练模型视为一个“符号提取器”，通过对冻结的嵌入空间进行线性分解，提取出具有生理意义的“符号”方向。通过这些符号作为桥梁，可以在不改变原始模型参数的前提下，实现不同模态嵌入空间的对齐。
技术框架：该框架包含三个阶段：首先是符号提取，利用矩阵分解技术从冻结的嵌入中识别出可解释的基向量；其次是符号对齐，通过学习映射矩阵将不同模态的符号空间进行对齐；最后是跨模态迁移，利用对齐后的空间实现从源模态到目标模态的知识转移。
关键创新：最大的创新在于无需重训练（Post-training）即可实现跨模态对齐。该方法证明了健康数据中存在一种“符号化组织”，即模型学习到的特征并非随机，而是对应于特定的生理属性，且这种属性在不同传感器模态间具有一致性。
关键设计：该方法采用低秩分解技术提取符号，并利用少量的配对数据进行线性映射学习。损失函数设计旨在最小化跨模态符号空间的距离，同时保持各模态内部的结构完整性，确保迁移过程中的信息损失最小化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该方法在跨模态迁移任务中保留了超过95%的域内性能。在处理17.2万名受试者的大规模数据集时，该框架表现出极高的参数效率，仅需少量配对数据即可实现性能饱和，证明了其在不同架构（如Transformer或CNN变体）间的通用性，且对齐过程在不同模态方向上表现出高度的对称性。
🎯 应用场景
该研究可广泛应用于数字医疗领域，如利用智能手表等可穿戴设备进行多模态健康监测。通过跨模态迁移，模型可以将一种传感器（如PPG）学到的生理特征迁移至另一种传感器（如加速度计），从而在单一模态数据缺失时维持诊断准确性，并提升个性化医疗的解释性与鲁棒性。
📄 摘要（原文）
Health foundation models (FMs) learn useful representations from wearable sensors, but interpreting what they encode and transferring that knowledge across modalities after training remains difficult. We present a post-training framework that decomposes frozen embeddings into interpretable directions, referred to as symbols, and use these symbols to align the embedding spaces without retraining. We evaluate the framework on three FMs for photoplethysmography (PPG) and accelerometer data, independently pretrained on ~20M minutes of unlabeled data from ~172K participants, and analyzed on a held-out cohort of 30K subjects. We find that extracted symbols associate selectively with health conditions and physiological attributes, and these associations are partially shared across modalities and architectures. Cross-modal transfer via symbols retains more than 95% of in-domain performance, is nearly symmetric across domain directions, and saturates with limited paired data, together indicating that alignment recovers a shared low-dimensional subspace rich in physiological information. Overall, these results suggest that health FM embeddings contain an interpretable symbolic organization that is shared across modalities and supports cross-domain transfer without joint training.