HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models

📄 arXiv: 2405.07460v5 📥 PDF

作者: Aakash Tripathi, Asim Waqas, Matthew B. Schabath, Yasin Yilmaz, Ghulam Rasool

分类: cs.LG, cs.AI, cs.DB

发布日期: 2024-05-13 (更新: 2025-08-27)

💡 一句话要点

HONeYBEE：一个可扩展的模块化框架，利用基础嵌入模型创建多模态肿瘤学数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 肿瘤学 深度学习 嵌入模型 生存预测 癌症分类 患者检索

📋 核心要点

  1. 现有肿瘤学研究缺乏统一的多模态数据整合框架，限制了对复杂疾病的深入理解和精准治疗。
  2. HONeYBEE框架通过整合临床、影像、分子等多模态数据，利用领域基础模型生成患者级别的统一嵌入表示。
  3. 实验表明，HONeYBEE在癌症分类、患者检索和生存预测等方面表现出色，尤其临床嵌入展现了强大的单模态性能。

📝 摘要（中文）

HONeYBEE（Harmonized ONcologY Biomedical Embedding Encoder）是一个开源框架，旨在整合多模态生物医学数据用于肿瘤学应用。它处理临床数据（结构化和非结构化）、全切片图像、放射影像扫描和分子谱，利用领域特定的基础模型和融合策略生成统一的患者级别嵌入。这些嵌入支持生存预测、癌症类型分类、患者相似性检索和队列聚类。在来自癌症基因组图谱（TCGA）的超过11400名患者、33种癌症类型的数据集上进行评估，临床嵌入表现出最强的单模态性能，分类准确率达到98.5%，患者检索的精确率@10达到96.4%。它们还在大多数癌症类型中实现了最高的生存预测一致性指数。多模态融合为特定癌症提供了互补优势，提高了超越仅使用临床特征的整体生存预测能力。对四个大型语言模型的比较评估表明，通用模型（如Qwen3）在临床文本表示方面优于专门的医学模型，但针对特定任务的微调提高了在病理报告等异构数据上的性能。

🔬 方法详解

问题定义：现有肿瘤学研究面临多模态数据整合的挑战，不同数据类型（临床记录、影像、基因组）的处理方式各异，缺乏统一的表示方法，阻碍了跨模态信息的有效融合和利用。现有方法难以充分挖掘多模态数据中的潜在关联，限制了在癌症诊断、预后和治疗决策方面的应用。

核心思路：HONeYBEE的核心思路是构建一个模块化、可扩展的框架，利用领域特定的基础模型将不同模态的肿瘤学数据映射到统一的嵌入空间。通过融合不同模态的嵌入表示，可以捕捉患者的综合特征，从而提高下游任务的性能。该框架的设计目标是易于扩展和定制，以适应不同类型的数据和应用场景。

技术框架：HONeYBEE框架包含以下主要模块：1) 数据预处理模块：负责清洗、转换和标准化各种类型的肿瘤学数据。2) 嵌入生成模块：利用领域特定的基础模型（如用于临床文本的语言模型、用于病理图像的视觉模型）生成单模态嵌入。3) 融合模块：将不同模态的嵌入进行融合，生成患者级别的统一嵌入表示。4) 下游任务模块：利用生成的嵌入进行生存预测、癌症类型分类、患者相似性检索和队列聚类等任务。

关键创新：HONeYBEE的关键创新在于其模块化和可扩展的设计，以及对领域特定基础模型的应用。该框架能够灵活地整合不同类型的肿瘤学数据，并利用预训练模型提取有意义的特征表示。此外，该框架还提供了多种融合策略，以适应不同的应用场景。通过比较不同大型语言模型在临床文本表示方面的性能，为选择合适的模型提供了指导。

关键设计：HONeYBEE框架的关键设计包括：1) 针对不同数据类型选择合适的预训练模型，例如，使用Qwen3等通用语言模型处理临床文本，使用视觉模型处理病理图像。2) 设计灵活的融合策略，例如，使用加权平均、拼接或注意力机制等方法融合不同模态的嵌入。3) 针对特定任务进行微调，例如，对语言模型进行微调以提高在病理报告等异构数据上的性能。4) 采用模块化设计，方便用户根据需求定制和扩展框架。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HONeYBEE框架在多个肿瘤学任务中表现出色。临床嵌入在癌症类型分类中达到98.5%的准确率，在患者检索中达到96.4%的精确率@10。多模态融合在特定癌症类型中提高了生存预测的准确性。对不同大型语言模型的比较表明，通用模型在临床文本表示方面具有竞争力，通过微调可以进一步提高性能。

🎯 应用场景

HONeYBEE框架可应用于多种肿瘤学研究和临床实践，例如：辅助癌症诊断和分型、预测患者生存期、识别相似患者群体、指导个性化治疗方案制定。该框架能够整合多模态数据，为医生提供更全面的患者信息，从而提高诊疗决策的准确性和效率。未来，HONeYBEE有望成为肿瘤学领域的重要工具，促进精准医疗的发展。

📄 摘要（原文）

HONeYBEE (Harmonized ONcologY Biomedical Embedding Encoder) is an open-source framework that integrates multimodal biomedical data for oncology applications. It processes clinical data (structured and unstructured), whole-slide images, radiology scans, and molecular profiles to generate unified patient-level embeddings using domain-specific foundation models and fusion strategies. These embeddings enable survival prediction, cancer-type classification, patient similarity retrieval, and cohort clustering. Evaluated on 11,400+ patients across 33 cancer types from The Cancer Genome Atlas (TCGA), clinical embeddings showed the strongest single-modality performance with 98.5% classification accuracy and 96.4% precision@10 in patient retrieval. They also achieved the highest survival prediction concordance indices across most cancer types. Multimodal fusion provided complementary benefits for specific cancers, improving overall survival prediction beyond clinical features alone. Comparative evaluation of four large language models revealed that general-purpose models like Qwen3 outperformed specialized medical models for clinical text representation, though task-specific fine-tuning improved performance on heterogeneous data such as pathology reports.