From Staff Messages to Actionable Insights: A Multi-Stage LLM Classification Framework for Healthcare Analytics

📄 arXiv: 2509.05484v1 📥 PDF

作者: Hajar Sakai, Yi-En Tseng, Mohammadsadegh Mikaeili, Joshua Bosire, Franziska Jovin

分类: cs.CL

发布日期: 2025-09-05

💡 一句话要点

提出多阶段LLM分类框架，从医护人员消息中提取可执行的医疗分析洞见。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 医疗分析 文本分类 多阶段框架 决策支持

📋 核心要点

  1. 传统医疗分析方法依赖标注数据和模型调优，成本高昂且效率低下，难以快速从大量医护人员消息中提取有效信息。
  2. 论文提出一种多阶段LLM框架，利用推理、通用和轻量级LLM，对医护人员消息进行主题识别和多分类，提取可执行的洞见。
  3. 实验表明，该框架在保证数据安全和HIPAA合规性的前提下，实现了较高的分类准确率，为医疗决策支持提供了有效工具。

📝 摘要（中文）

医院呼叫中心是患者与医院系统联系的主要渠道，同时也产生大量医护人员消息。这些消息记录了导航员处理患者请求并与医院办公室沟通的过程。积累的大量文本数据可以被挖掘和处理以获取洞见。然而，传统的监督学习方法需要标注数据、大量训练和模型调优。大型语言模型（LLM）为医疗分析提供了一种更具计算效率的方法。本文提出了一种基于多阶段LLM的框架，用于识别医护人员消息的主题，并以多分类方式对消息的原因进行分类。该框架评估了多种LLM类型，包括推理模型、通用模型和轻量级模型。性能最佳的模型是o3，实现了78.4%的加权F1分数和79.2%的准确率，其次是gpt-5（75.3%的加权F1分数和76.2%的准确率）。该方法结合了数据安全措施和HIPAA合规性要求，这对于医疗环境至关重要。处理后的LLM输出被集成到可视化决策支持工具中，将医护人员消息转化为可供医疗专业人员访问的可执行洞见。这种方法能够更有效地利用收集到的医护人员消息数据，识别导航员培训机会，并支持改善患者体验和护理质量。

🔬 方法详解

问题定义：医院呼叫中心产生大量医护人员消息，这些消息蕴含着改善患者体验和护理质量的关键信息。然而，传统监督学习方法需要大量标注数据和模型调优，成本高昂且效率低下，难以快速从这些非结构化文本数据中提取有价值的洞见。现有方法难以兼顾效率、准确性和数据安全。

核心思路：利用大型语言模型（LLM）强大的文本理解和生成能力，构建一个多阶段的分类框架。通过分阶段处理，可以充分利用不同类型LLM的优势，在保证准确率的同时，降低计算成本。同时，框架设计考虑了数据安全和HIPAA合规性，确保在医疗环境中的安全应用。

技术框架：该框架包含以下几个主要阶段：1. 数据预处理：对原始医护人员消息进行清洗和格式化。2. 主题识别：利用LLM识别消息的主题。3. 原因分类：使用LLM对消息的原因进行多分类。4. 结果集成：将LLM的输出集成到可视化决策支持工具中，方便医疗专业人员使用。

关键创新：该方法的核心创新在于多阶段LLM框架的设计，它能够有效地利用不同类型LLM的优势，实现高效、准确的医护人员消息分类。与传统的单阶段方法相比，该框架能够更好地平衡准确率和计算成本。此外，该框架还考虑了数据安全和HIPAA合规性，使其更适合在医疗环境中应用。

关键设计：论文评估了多种LLM模型，包括推理模型、通用模型和轻量级模型，并根据实际性能选择了最佳模型组合。具体模型选择未知。框架设计中，数据安全措施和HIPAA合规性要求被纳入考虑，但具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的多阶段LLM框架能够有效地对医护人员消息进行分类。其中，o3模型取得了最佳性能，加权F1分数达到78.4%，准确率达到79.2%。GPT-5模型也表现出色，加权F1分数为75.3%，准确率为76.2%。这些结果表明，该框架在医疗文本分析方面具有很高的潜力。

🎯 应用场景

该研究成果可应用于医院呼叫中心，帮助医疗机构更有效地利用医护人员消息数据，识别导航员培训机会，改善患者体验和护理质量。通过可视化决策支持工具，医疗专业人员可以快速获取关键信息，做出更明智的决策。该方法还可推广到其他医疗文本数据的分析，例如电子病历、患者反馈等。

📄 摘要（原文）

Hospital call centers serve as the primary contact point for patients within a hospital system. They also generate substantial volumes of staff messages as navigators process patient requests and communicate with the hospital offices following the established protocol restrictions and guidelines. This continuously accumulated large amount of text data can be mined and processed to retrieve insights; however, traditional supervised learning approaches require annotated data, extensive training, and model tuning. Large Language Models (LLMs) offer a paradigm shift toward more computationally efficient methodologies for healthcare analytics. This paper presents a multi-stage LLM-based framework that identifies staff message topics and classifies messages by their reasons in a multi-class fashion. In the process, multiple LLM types, including reasoning, general-purpose, and lightweight models, were evaluated. The best-performing model was o3, achieving 78.4% weighted F1-score and 79.2% accuracy, followed closely by gpt-5 (75.3% Weighted F1-score and 76.2% accuracy). The proposed methodology incorporates data security measures and HIPAA compliance requirements essential for healthcare environments. The processed LLM outputs are integrated into a visualization decision support tool that transforms the staff messages into actionable insights accessible to healthcare professionals. This approach enables more efficient utilization of the collected staff messaging data, identifies navigator training opportunities, and supports improved patient experience and care quality.