Representation Learning of Structured Data for Medical Foundation Models
作者: Vijay Prakash Dwivedi, Viktor Schlegel, Andy T. Liu, Thanh-Tung Nguyen, Abhinav Ramesh Kashyap, Jeng Wei, Wei-Hsian Yin, Stefan Winkler, Robby T. Tan
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-10-17
备注: NeurIPS 2024 Workshop on Unifying Representations in Neural Models (UniReps 2024)
💡 一句话要点
UniStruct：针对医疗领域，提出结构化数据表征学习方法，提升医疗基础模型性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医疗基础模型 结构化数据 表征学习 多模态学习 医疗编码 自然语言处理 分词技术
📋 核心要点
- 现有大型语言模型在处理医疗领域结构化数据（如医疗编码）时存在不足，主要由于传统分词方法的局限性。
- UniStruct架构通过改进子词分词技术，专门针对结构化医疗编码进行优化，从而提升模型对结构化数据的表征能力。
- 在大型医疗数据集上的预训练表明，UniStruct模型在评估指标上取得了显著提升，并在下游任务中表现出更强的泛化能力。
📝 摘要（中文）
大型语言模型（LLM）在包括医疗保健在内的各个领域表现出卓越的性能。然而，它们有效表示结构化非文本数据的能力，例如ICD-10或SNOMED-CT等记录中使用的字母数字医疗代码，受到限制，并且在最近的研究中已经暴露出来。本文研究了由于当前分词方法的缺点，LLM在处理医疗代码时面临的挑战。因此，我们引入了UniStruct架构来设计一个非结构化文本和结构化数据的多模态医疗基础模型，该模型通过专门为结构化医疗代码调整子词分词技术来解决这些挑战。我们的方法通过在广泛的内部医疗数据库和公共结构化医疗记录存储库上进行模型预训练来验证。在内部医疗数据库上超过10亿个token的训练表明，所提出的模型在评估指标上实现了高达23%的改进，其中约2%的增益归因于我们提出的分词方法。此外，当在EHRSHOT公共基准上使用1/1000的预训练数据分数进行评估时，UniStruct模型提高了超过42%的下游任务的性能。我们的方法不仅增强了以患者为中心的模型的表示和泛化能力，而且弥合了表示学习模型在处理复杂的结构化医疗数据以及非结构化文本方面的关键差距。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在处理医疗领域中结构化数据（如ICD-10、SNOMED-CT等医疗编码）时表现出的不足。现有方法，特别是传统的分词方法，无法有效捕捉这些结构化数据的内在语义和关系，导致模型性能受限。
核心思路：论文的核心思路是设计一种专门针对结构化医疗编码的分词方法，并将其融入到多模态医疗基础模型UniStruct中。通过优化分词策略，使模型能够更好地理解和利用结构化数据，从而提升整体性能。这种设计思路旨在弥合LLM在处理非结构化文本和结构化数据之间的差距。
技术框架：UniStruct架构是一个多模态医疗基础模型，它能够同时处理非结构化文本和结构化数据。整体流程包括：1) 结构化医疗编码的预处理和专门分词；2) 非结构化文本的传统分词；3) 将两种类型的数据输入到统一的模型中进行联合训练；4) 在下游任务上进行微调和评估。
关键创新：最重要的技术创新点在于针对结构化医疗编码的分词方法。与传统的分词方法不同，该方法考虑了医疗编码的内在结构和语义，能够更有效地将编码分解为有意义的子词单元。这种专门的分词方法是UniStruct模型性能提升的关键。
关键设计：论文中关于分词方法的具体设计细节未知。但可以推测，可能涉及到对医疗编码的字符组成、层级关系、以及与其他编码的关联性进行分析，并据此设计相应的分词规则或算法。损失函数和网络结构等其他技术细节也未在摘要中明确说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
UniStruct模型在内部医疗数据库上预训练后，评估指标提升高达23%，其中约2%的增益归功于提出的分词方法。在EHRSHOT公共基准上，使用1/1000的预训练数据，UniStruct模型在超过42%的下游任务上提高了性能。这些结果表明，UniStruct模型在结构化医疗数据表征方面具有显著优势。
🎯 应用场景
该研究成果可广泛应用于医疗健康领域，例如疾病诊断、治疗方案推荐、患者风险预测等。通过提升模型对结构化医疗数据的理解能力，可以构建更智能、更精准的医疗辅助决策系统，从而改善患者的治疗效果和生活质量。未来，该方法有望推广到其他领域，例如金融、法律等，以处理类似的结构化数据。
📄 摘要（原文）
Large Language Models (LLMs) have demonstrated remarkable performance across various domains, including healthcare. However, their ability to effectively represent structured non-textual data, such as the alphanumeric medical codes used in records like ICD-10 or SNOMED-CT, is limited and has been particularly exposed in recent research. This paper examines the challenges LLMs face in processing medical codes due to the shortcomings of current tokenization methods. As a result, we introduce the UniStruct architecture to design a multimodal medical foundation model of unstructured text and structured data, which addresses these challenges by adapting subword tokenization techniques specifically for the structured medical codes. Our approach is validated through model pre-training on both an extensive internal medical database and a public repository of structured medical records. Trained on over 1 billion tokens on the internal medical database, the proposed model achieves up to a 23% improvement in evaluation metrics, with around 2% gain attributed to our proposed tokenization. Additionally, when evaluated on the EHRSHOT public benchmark with a 1/1000 fraction of the pre-training data, the UniStruct model improves performance on over 42% of the downstream tasks. Our approach not only enhances the representation and generalization capabilities of patient-centric models but also bridges a critical gap in representation learning models' ability to handle complex structured medical data, alongside unstructured text.