KDH-MLTC: Knowledge Distillation for Healthcare Multi-Label Text Classification

📄 arXiv: 2505.07162v1 📥 PDF

作者: Hajar Sakai, Sarah S. Lam

分类: cs.CL

发布日期: 2025-05-12

💡 一句话要点

提出KDH-MLTC框架，利用知识蒸馏提升医疗多标签文本分类效率与精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 医疗文本分类 多标签分类 大型语言模型 模型压缩

📋 核心要点

  1. 医疗文本数据量激增，传统方法难以兼顾计算效率和分类精度，尤其是在多标签分类任务中。
  2. KDH-MLTC利用知识蒸馏，将大型语言模型的知识迁移到轻量级模型，并采用顺序微调和超参数优化。
  3. 实验表明，KDH-MLTC在医疗数据集上优于现有方法，F1得分最高达到82.70%，并具有良好的鲁棒性。

📝 摘要（中文）

本研究提出了一种名为KDH-MLTC（用于医疗多标签文本分类的知识蒸馏）的框架，旨在利用模型压缩和大型语言模型（LLM）处理日益增长的医疗文本数据，实现高效且高精度的分类。该方法通过集成知识蒸馏和顺序微调，并利用粒子群优化（PSO）进行超参数调优，从而应对传统医疗多标签文本分类（MLTC）的挑战。KDH-MLTC将知识从更复杂的教师LLM（如BERT）迁移到更轻量级的学生LLM（如DistilBERT），通过适应MLTC的顺序训练，在显著降低计算需求的同时，保留教师模型学习到的信息。这使得分类能够在本地进行，适用于具有敏感性的医疗文本数据，从而确保符合HIPAA标准。在从癌症标志（HoC）数据集中抽取的三个不同大小的医学文献数据集上进行的实验表明，KDH-MLTC优于现有方法，尤其是在最大的数据集上，F1得分达到82.70%。此外，统计验证和消融研究证明了KDH-MLTC的鲁棒性。基于PSO的超参数优化过程也确定了最佳配置。该方法为医疗文本分类研究做出了贡献，在资源受限的医疗环境中平衡了效率需求和令人满意的精度要求。

🔬 方法详解

问题定义：论文旨在解决医疗领域多标签文本分类任务中，现有方法计算效率低、难以部署的问题。现有方法通常依赖于大型预训练模型，计算资源消耗大，难以在资源受限的医疗环境中应用，同时也难以满足医疗数据隐私保护的要求。

核心思路：论文的核心思路是利用知识蒸馏技术，将大型教师模型（BERT）的知识迁移到小型学生模型（DistilBERT），从而在保证分类精度的前提下，显著降低计算复杂度。通过顺序微调和超参数优化，进一步提升学生模型的性能。

技术框架：KDH-MLTC框架主要包含以下几个阶段：1) 教师模型训练：使用大型预训练语言模型（如BERT）在医疗文本数据集上进行训练。2) 学生模型初始化：使用小型预训练语言模型（如DistilBERT）作为学生模型。3) 知识蒸馏：将教师模型的预测结果作为软标签，指导学生模型的训练。4) 顺序微调：针对多标签分类任务，对学生模型进行顺序微调。5) 超参数优化：使用粒子群优化（PSO）算法，对学生模型的超参数进行优化。

关键创新：该方法的主要创新在于将知识蒸馏技术应用于医疗多标签文本分类任务，并结合顺序微调和超参数优化，实现了计算效率和分类精度的平衡。与传统方法相比，KDH-MLTC能够在保证分类性能的同时，显著降低计算资源消耗，更适合在资源受限的医疗环境中部署。

关键设计：在知识蒸馏阶段，论文采用了软标签损失函数，鼓励学生模型的预测结果与教师模型的预测结果保持一致。在顺序微调阶段，论文针对多标签分类任务，设计了特定的训练策略。在超参数优化阶段，论文采用了粒子群优化（PSO）算法，自动搜索最佳的超参数组合。具体的损失函数和网络结构细节在论文中进行了详细描述（未知）。

📊 实验亮点

实验结果表明，KDH-MLTC在三个不同大小的医疗文献数据集上均取得了优异的性能。在最大的数据集上，KDH-MLTC的F1得分达到了82.70%，显著优于现有的方法。消融实验证明了知识蒸馏、顺序微调和超参数优化等关键模块的有效性。统计验证结果表明，KDH-MLTC具有良好的鲁棒性。

🎯 应用场景

KDH-MLTC框架可应用于多种医疗文本分类场景，例如疾病诊断、药物研发、临床决策支持等。该方法能够在保证分类精度的前提下，降低计算资源消耗，使其更易于在资源受限的医疗环境中部署。同时，本地化的模型部署也能够更好地保护医疗数据的隐私，符合HIPAA等相关法规要求。未来，该方法有望在智慧医疗领域发挥重要作用。

📄 摘要（原文）

The increasing volume of healthcare textual data requires computationally efficient, yet highly accurate classification approaches able to handle the nuanced and complex nature of medical terminology. This research presents Knowledge Distillation for Healthcare Multi-Label Text Classification (KDH-MLTC), a framework leveraging model compression and Large Language Models (LLMs). The proposed approach addresses conventional healthcare Multi-Label Text Classification (MLTC) challenges by integrating knowledge distillation and sequential fine-tuning, subsequently optimized through Particle Swarm Optimization (PSO) for hyperparameter tuning. KDH-MLTC transfers knowledge from a more complex teacher LLM (i.e., BERT) to a lighter student LLM (i.e., DistilBERT) through sequential training adapted to MLTC that preserves the teacher's learned information while significantly reducing computational requirements. As a result, the classification is enabled to be conducted locally, making it suitable for healthcare textual data characterized by sensitivity and, therefore, ensuring HIPAA compliance. The experiments conducted on three medical literature datasets of different sizes, sampled from the Hallmark of Cancer (HoC) dataset, demonstrate that KDH-MLTC achieves superior performance compared to existing approaches, particularly for the largest dataset, reaching an F1 score of 82.70%. Additionally, statistical validation and an ablation study are carried out, proving the robustness of KDH-MLTC. Furthermore, the PSO-based hyperparameter optimization process allowed the identification of optimal configurations. The proposed approach contributes to healthcare text classification research, balancing efficiency requirements in resource-constrained healthcare settings with satisfactory accuracy demands.