Frailty Estimation in Elderly Oncology Patients Using Multimodal Wearable Data and Multi-Instance Learning

📄 arXiv: 2604.06985v1 📥 PDF

作者: Ioannis Kyprakis, Vasileios Skaramagkas, Georgia Karanasiou, Lampros Lakkas, Andri Papakonstantinou, Domen Ribnikar, Kalliopi Keramida, Dorothea Tsekoura, Ketti Mazzocco, Anastasia Constantinidou, Konstantinos Marias, Dimitrios I. Fotiadis, Manolis Tsiknakis

分类: cs.LG, cs.AI

发布日期: 2026-04-08

备注: 7 pages, 1 figure, under review for IEEE EMBC 2026

💡 一句话要点

提出基于多模态可穿戴数据和多示例学习的老年肿瘤患者虚弱程度评估框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 可穿戴设备 多示例学习 老年肿瘤 虚弱评估

📋 核心要点

  1. 老年肿瘤患者的虚弱程度评估依赖于有限的临床就诊，难以捕捉就诊间隙期的功能变化。
  2. 提出一种基于多模态可穿戴数据的多示例学习框架，利用智能手表和心电数据评估虚弱程度。
  3. 实验表明，该方法能有效预测老年乳腺癌患者的虚弱程度变化，智能手表数据贡献最大。

📝 摘要（中文）

虚弱和功能衰退严重影响老年癌症患者的治疗耐受性和预后，但评估通常仅限于不频繁的临床就诊。本文提出了一个多模态可穿戴框架，用于评估参与多中心CARDIOCARE研究的老年乳腺癌患者在就诊间隙期与虚弱相关的身体功能变化。将来自智能手表的自由活动和睡眠特征，以及来自胸带的心电图（ECG）衍生的心率变异性（HRV）特征相结合，并组织成与第3个月（M3）和第6个月（M6）随访对齐的患者时间段数据包。创新之处在于一种基于注意力机制的多示例学习（MIL）公式，该公式融合了真实世界缺失情况下的不规则多模态可穿戴数据，并进行弱监督。一个具有特定模态多层感知器（MLP）编码器（嵌入维度为128）的基于注意力的MIL模型，聚合可变长度和部分缺失的纵向数据，以预测FACIT-F和握力的离散化基线变化类别（恶化、稳定、改善）。在受试者独立的留一受试者交叉验证（LOSO）评估下，完整的多模态模型在M3时，握力的平衡准确率/F1为0.68 +/- 0.08/0.67 +/- 0.09，在M6时为0.70 +/- 0.10/0.69 +/- 0.08；FACIT-F在M3时为0.59 +/- 0.04/0.58 +/- 0.06，在M6时为0.64 +/- 0.05/0.63 +/- 0.07。消融实验结果表明，智能手表活动和睡眠为虚弱相关的功能变化提供了最强的预测信息，而HRV在与智能手表数据流融合时提供了补充信息。

🔬 方法详解

问题定义：论文旨在解决老年肿瘤患者虚弱程度的持续监测问题。现有方法主要依赖于临床就诊时的评估，无法捕捉患者在日常生活中的功能变化，导致对患者状态的了解不全面，影响治疗决策。此外，可穿戴设备数据存在不规则性和缺失，如何有效利用这些数据也是一个挑战。

核心思路：论文的核心思路是利用多模态可穿戴设备（智能手表和心电胸带）收集的生理和活动数据，结合多示例学习（MIL）框架，对患者的虚弱程度进行评估。MIL能够处理数据的不完整性和不规则性，通过学习“数据包”的特征来预测患者的虚弱程度变化。注意力机制的引入则能够突出不同模态和时间点数据的贡献。

技术框架：整体框架包括数据采集、特征提取、多示例学习模型训练和虚弱程度预测四个主要阶段。首先，通过智能手表和心电胸带收集患者的活动、睡眠和心率变异性数据。然后，从这些数据中提取相关特征。接着，将这些特征组织成“数据包”，每个数据包代表一个患者在一段时间内的多模态数据。最后，使用基于注意力机制的MIL模型对数据包进行学习，预测患者的虚弱程度变化（恶化、稳定、改善）。

关键创新：论文的关键创新在于将多示例学习与多模态可穿戴数据相结合，用于老年肿瘤患者的虚弱程度评估。传统的虚弱程度评估方法依赖于临床数据，而该方法利用可穿戴设备实现了持续监测。此外，基于注意力机制的MIL模型能够有效处理数据的缺失和不规则性，并突出不同模态数据的贡献。

关键设计：模型使用模态特定的多层感知器（MLP）作为编码器，将不同模态的数据映射到128维的嵌入空间。使用注意力机制对不同实例进行加权，以突出重要实例的贡献。损失函数采用交叉熵损失，用于分类虚弱程度的变化。实验中，采用留一受试者交叉验证（LOSO）进行模型评估。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该多模态模型在预测握力和FACIT-F的虚弱程度变化方面取得了较好的性能。在M3时，握力的平衡准确率/F1为0.68/0.67，FACIT-F为0.59/0.58；在M6时，握力为0.70/0.69，FACIT-F为0.64/0.63。消融实验表明，智能手表数据对预测虚弱程度变化贡献最大，心率变异性数据提供了补充信息。

🎯 应用场景

该研究成果可应用于老年肿瘤患者的远程健康监测和个性化治疗方案制定。通过持续监测患者的虚弱程度，医生可以及时调整治疗方案，提高患者的治疗效果和生活质量。此外，该方法还可以扩展到其他慢性疾病的监测和管理，具有广泛的应用前景。

📄 摘要（原文）

Frailty and functional decline strongly influence treatment tolerance and outcomes in older patients with cancer, yet assessment is typically limited to infrequent clinic visits. We propose a multimodal wearable framework to estimate frailty-related functional change between visits in elderly breast cancer patients enrolled in the multicenter CARDIOCARE study. Free-living smartwatch physical activity and sleep features are combined with ECG-derived heart rate variability (HRV) features from a chest strap and organized into patient-horizon bags aligned to month 3 (M3) and month 6 (M6) follow-ups. Our innovation is an attention-based multiple instance learning (MIL) formulation that fuses irregular, multimodal wearable instances under real-world missingness and weak supervision. An attention-based MIL model with modality-specific multilayer perceptron (MLP) encoders with embedding dimension 128 aggregates variable-length and partially missing longitudinal instances to predict discretized change-from-baseline classes (worsened, stable, improved) for FACIT-F and handgrip strength. Under subject-independent leave-one-subject-out (LOSO) evaluation, the full multimodal model achieved balanced accuracy/F1 of 0.68 +/- 0.08/0.67 +/- 0.09 at M3 and 0.70 +/- 0.10/0.69 +/- 0.08 at M6 for handgrip, and 0.59 +/- 0.04/0.58 +/- 0.06 at M3 and 0.64 +/- 0.05/0.63 +/- 0.07 at M6 for FACIT-F. Ablation results indicated that smartwatch activity and sleep provide the strongest predictive information for frailty-related functional changes, while HRV contributes complementary information when fused with smartwatch streams.