Hypernetwork-Based Adaptive Aggregation for Multimodal Multiple-Instance Learning in Predicting Coronary Calcium Debulking

📄 arXiv: 2601.21479v1 📥 PDF

作者: Kaito Shiku, Ichika Seo, Tetsuya Matoba, Rissei Hino, Yasuhiro Nakano, Ryoma Bise

分类: cs.CV

发布日期: 2026-01-29

备注: Accepted to ISBI 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于超网络的自适应聚合Transformer，用于预测冠状动脉钙化消融术的需求。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多示例学习 超网络 自适应聚合 医学影像分析 冠状动脉钙化 Transformer 临床决策支持

📋 核心要点

  1. 现有方法难以根据患者个体情况调整设备使用决策，忽略了表格数据的重要性。
  2. 提出HyperAdAgFormer，利用超网络根据患者表格数据自适应调整特征聚合策略。
  3. 临床数据集实验验证了HyperAdAgFormer的有效性，表明其在预测冠状动脉钙化消融术需求方面的潜力。

📝 摘要（中文）

本文首次尝试从计算机断层扫描(CT)图像中评估冠状动脉钙化消融术的必要性。我们将此任务建模为多示例学习(MIL)问题。该任务的难点在于，医生会根据代表每位患者状况的表格数据来调整他们对设备使用的关注点和决策标准。为了解决这个问题，我们提出了一种基于超网络的自适应聚合Transformer (HyperAdAgFormer)，它通过超网络根据表格数据自适应地修改每个患者的特征聚合策略。使用临床数据集进行的实验证明了HyperAdAgFormer的有效性。代码已在https://github.com/Shiku-Kaito/HyperAdAgFormer上公开。

🔬 方法详解

问题定义：论文旨在解决从CT图像中预测冠状动脉钙化消融术必要性的问题。现有方法的痛点在于，医生在决策时会考虑患者的个体情况（如年龄、病史等），这些信息通常以表格数据的形式存在，而传统方法难以有效利用这些信息，导致预测精度受限。

核心思路：论文的核心思路是利用超网络(Hypernetwork)来动态调整特征聚合策略。具体来说，超网络以患者的表格数据作为输入，生成Transformer中聚合模块的参数。这样，针对不同的患者，聚合模块的行为也会有所不同，从而实现自适应的特征聚合。

技术框架：HyperAdAgFormer的整体架构如下：首先，从CT图像中提取图像特征；然后，利用超网络根据患者的表格数据生成自适应聚合Transformer的参数；最后，将图像特征输入到自适应聚合Transformer中进行聚合，得到最终的预测结果。主要模块包括：图像特征提取模块、超网络模块和自适应聚合Transformer模块。

关键创新：最重要的技术创新点在于使用超网络来动态生成Transformer的参数，从而实现自适应的特征聚合。与传统的静态聚合方法相比，HyperAdAgFormer能够根据患者的个体情况动态调整聚合策略，从而提高预测精度。

关键设计：超网络的设计至关重要，它需要能够有效地将表格数据映射到Transformer的参数空间。论文中具体超网络的结构未知，但可以推测其可能采用多层感知机(MLP)结构。损失函数方面，论文未明确说明，但可以推测其可能采用二元交叉熵损失函数，因为这是一个二分类问题（是否需要消融术）。Transformer的具体结构也未知，但可以推测其可能采用标准的Transformer encoder结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在临床数据集上进行实验，验证了HyperAdAgFormer的有效性。具体性能数据未知，但摘要中明确指出实验结果证明了HyperAdAgFormer的有效性，表明其优于现有的多示例学习方法。该模型能够更好地利用患者的表格数据，从而提高预测冠状动脉钙化消融术需求的准确性。

🎯 应用场景

该研究成果可应用于临床辅助决策，帮助医生更准确地评估患者是否需要进行冠状动脉钙化消融术。通过结合CT图像和患者的表格数据，可以提高诊断的准确性和效率，减少不必要的医疗干预，并为患者提供更个性化的治疗方案。未来，该方法有望推广到其他医学影像分析任务中。

📄 摘要（原文）

In this paper, we present the first attempt to estimate the necessity of debulking coronary artery calcifications from computed tomography (CT) images. We formulate this task as a Multiple-instance Learning (MIL) problem. The difficulty of this task lies in that physicians adjust their focus and decision criteria for device usage according to tabular data representing each patient's condition. To address this issue, we propose a hypernetwork-based adaptive aggregation transformer (HyperAdAgFormer), which adaptively modifies the feature aggregation strategy for each patient based on tabular data through a hypernetwork. The experiments using the clinical dataset demonstrated the effectiveness of HyperAdAgFormer. The code is publicly available at https://github.com/Shiku-Kaito/HyperAdAgFormer.