Explainable cognitive decline detection in free dialogues with a Machine Learning approach based on pre-trained Large Language Models
作者: Francisco de Arriba-Pérez, Silvia García-Méndez, Javier Otero-Mosquera, Francisco J. González-Castaño
分类: cs.CL, cs.AI
发布日期: 2024-11-04
期刊: Applied Intelligence, 1-16 (2024)
DOI: 10.1007/s10489-024-05808-0
💡 一句话要点
提出一种基于预训练大语言模型的认知衰退检测方法，用于分析自由对话。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 认知衰退检测 大型语言模型 自然语言处理 特征工程 提示工程
📋 核心要点
- 现有认知障碍筛查成本高昂，导致许多患者未能及时诊断和治疗，因此需要低成本的智能系统。
- 利用大型语言模型提取自由对话中的高级推理特征，结合自然语言处理和提示工程，实现认知衰退的检测。
- 实验结果表明，结合特征提取、ChatGPT和机器学习模型的混合方法，能有效检测老年人自由对话中的认知衰退。
📝 摘要（中文）
认知和神经功能障碍非常普遍，但只有一小部分患者得到诊断和治疗，部分原因是频繁筛查的高成本。通过有效且高效的智能系统检测疾病前期阶段并分析神经系统疾病的进展，有助于及时诊断和早期干预。本文提出使用大型语言模型从自由对话中提取特征来检测认知衰退。这些特征包括高级推理的、内容无关的特征（如理解力、意识降低、注意力分散和记忆问题）。该解决方案包括（i）预处理，（ii）通过自然语言处理技术和提示工程进行特征工程，（iii）特征分析和选择以优化性能，以及（iv）分类，并支持自动可解释性。本文还探讨了如何使用模型中的最佳特征来提高ChatGPT直接认知障碍预测能力。评估指标表明，将特征提取与ChatGPT和专门的机器学习模型相结合的混合方法，在检测老年人自由对话中的认知衰退方面是有效的。最终，这项工作可能有助于开发一种廉价、非侵入性和快速的认知衰退检测和解释方法。
🔬 方法详解
问题定义：论文旨在解决认知衰退的早期检测问题，现有方法主要依赖于昂贵的筛查手段，导致诊断率低。自由对话蕴含丰富的认知信息，但如何有效提取并利用这些信息进行认知衰退检测是一个挑战。
核心思路：论文的核心思路是利用预训练的大型语言模型（LLM）强大的自然语言理解和推理能力，从自由对话中提取与认知功能相关的特征，并结合机器学习模型进行分类。通过特征工程和选择，优化模型的性能和可解释性。
技术框架：该方法主要包含四个阶段：（1）预处理：对自由对话文本进行清洗和标准化。（2）特征工程：利用自然语言处理技术和提示工程，从对话中提取高级推理的、内容无关的特征，如理解力、意识、注意力和记忆力等。（3）特征分析与选择：对提取的特征进行分析，选择对认知衰退检测最有用的特征，以优化模型性能。（4）分类：使用机器学习模型，基于选择的特征对对话进行分类，判断是否存在认知衰退。同时，研究还探索了如何利用提取的特征提升ChatGPT的直接认知衰退预测能力。
关键创新：该方法的主要创新在于将大型语言模型应用于认知衰退检测，并提出了一种基于特征工程和选择的混合方法。与直接使用LLM进行预测相比，该方法能够提取更具解释性的特征，并结合机器学习模型进行优化，从而提高检测的准确性和可解释性。
关键设计：在特征工程阶段，论文使用了提示工程（Prompt Engineering）来引导LLM提取特定类型的认知特征。在特征选择阶段，采用了多种特征选择方法，例如基于统计的特征选择方法和基于模型的特征选择方法。在分类阶段，使用了多种机器学习模型，例如支持向量机（SVM）和随机森林（Random Forest）。此外，论文还研究了如何设计合适的提示（Prompt）来提升ChatGPT的认知衰退预测能力。
🖼️ 关键图片
📊 实验亮点
该研究通过实验验证了基于LLM特征提取和机器学习模型的混合方法在认知衰退检测中的有效性。实验结果表明，该方法能够有效地从自由对话中提取与认知功能相关的特征，并实现较高的分类准确率。此外，研究还发现，通过选择合适的特征，可以显著提升ChatGPT的认知衰退预测能力。
🎯 应用场景
该研究成果可应用于开发低成本、非侵入性的认知衰退早期筛查工具，方便社区和家庭使用。通过及早发现认知障碍，可以为患者提供及时的干预和治疗，延缓疾病进展，提高生活质量。此外，该方法还可以用于监测神经系统疾病的进展，评估治疗效果。
📄 摘要（原文）
Cognitive and neurological impairments are very common, but only a small proportion of affected individuals are diagnosed and treated, partly because of the high costs associated with frequent screening. Detecting pre-illness stages and analyzing the progression of neurological disorders through effective and efficient intelligent systems can be beneficial for timely diagnosis and early intervention. We propose using Large Language Models to extract features from free dialogues to detect cognitive decline. These features comprise high-level reasoning content-independent features (such as comprehension, decreased awareness, increased distraction, and memory problems). Our solution comprises (i) preprocessing, (ii) feature engineering via Natural Language Processing techniques and prompt engineering, (iii) feature analysis and selection to optimize performance, and (iv) classification, supported by automatic explainability. We also explore how to improve Chatgpt's direct cognitive impairment prediction capabilities using the best features in our models. Evaluation metrics obtained endorse the effectiveness of a mixed approach combining feature extraction with Chatgpt and a specialized Machine Learning model to detect cognitive decline within free-form conversational dialogues with older adults. Ultimately, our work may facilitate the development of an inexpensive, non-invasive, and rapid means of detecting and explaining cognitive decline.