Conversational Assistants to support Heart Failure Patients: comparing a Neurosymbolic Architecture with ChatGPT

📄 arXiv: 2504.17753v1 📥 PDF

作者: Anuja Tayal, Devika Salunke, Barbara Di Eugenio, Paula Allen-Meares, Eulalia Puig Abril, Olga Garcia, Carolyn Dickens, Andrew Boyd

分类: cs.CL

发布日期: 2025-04-24

💡 一句话要点

对比神经符号架构与ChatGPT在心力衰竭患者辅助对话系统中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 会话助手 心力衰竭 神经符号架构 ChatGPT 用户研究 医疗健康 自然语言处理

📋 核心要点

  1. 大型语言模型在医疗对话助手领域展现潜力，但缺乏与传统架构的对比评估。
  2. 论文对比神经符号架构和ChatGPT在心力衰竭患者饮食咨询任务中的表现。
  3. 实验表明，神经符号架构在准确性和任务完成度上更优，ChatGPT在语音错误和澄清需求上更优。

📝 摘要（中文）

会话助手正变得越来越流行，包括在医疗保健领域，部分原因是大型语言模型的可用性和能力。需要对真实用户进行受控的、探索性的评估，以突出传统架构和基于生成式AI的架构的优缺点。本文进行了一项组内用户研究，比较了两个版本的会话助手，允许心力衰竭患者询问食物中的盐含量。其中一个版本是使用神经符号架构自主开发的，另一个版本是基于ChatGPT的。评估表明，自主开发的系统比基于ChatGPT的系统更准确，完成的任务更多，也更简洁；另一方面，基于ChatGPT的系统产生的语音错误更少，完成任务所需的澄清更少。患者对两者没有明显的偏好。

🔬 方法详解

问题定义：论文旨在评估两种不同架构的会话助手在支持心力衰竭患者饮食管理方面的有效性。现有方法，特别是依赖大型语言模型的方法，可能存在准确性不足、冗余信息过多等问题，而传统架构可能在自然语言理解方面存在局限性。

核心思路：论文的核心思路是通过对比实验，分析神经符号架构和基于ChatGPT的会话助手在特定医疗场景下的优缺点，从而为未来会话助手的设计提供指导。神经符号架构旨在结合符号推理的精确性和神经网络的泛化能力，而ChatGPT则代表了基于大规模预训练语言模型的生成式方法。

技术框架：研究采用了组内用户研究设计，参与者为心力衰竭患者。两种会话助手系统分别基于神经符号架构和ChatGPT构建，用于回答患者关于食物中盐含量的问题。研究收集了系统准确性、任务完成度、语音错误、澄清需求以及用户偏好等指标。

关键创新：该研究的关键创新在于直接对比了神经符号架构和大型语言模型在实际医疗场景中的应用效果，并从多个维度评估了它们的性能。这有助于更全面地了解不同架构的优势和局限性，为未来的会话助手设计提供更可靠的依据。

关键设计：神经符号架构的具体实现细节未知，但可以推测其包含知识库、推理引擎和自然语言接口等模块。基于ChatGPT的系统可能使用了预训练语言模型，并通过微调或提示工程来适应心力衰竭患者的饮食咨询任务。实验中，研究人员可能采用了特定的提示策略来引导ChatGPT生成更准确和相关的回答。具体的损失函数和网络结构等细节在论文中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，自主开发的神经符号架构系统在准确性（更高）和任务完成度（更多）方面优于基于ChatGPT的系统，同时更简洁。而ChatGPT在语音错误（更少）和澄清需求（更少）方面表现更好。用户对两种系统没有明显的偏好，表明两种架构各有优势，在不同方面满足了用户的需求。

🎯 应用场景

该研究成果可应用于开发更有效的医疗会话助手，帮助患者进行疾病管理、用药指导和健康咨询。通过结合神经符号架构和大型语言模型的优点，可以构建更准确、可靠且用户友好的智能助手，提升医疗服务的质量和效率。未来，该研究思路可扩展到其他疾病领域，例如糖尿病、高血压等。

📄 摘要（原文）

Conversational assistants are becoming more and more popular, including in healthcare, partly because of the availability and capabilities of Large Language Models. There is a need for controlled, probing evaluations with real stakeholders which can highlight advantages and disadvantages of more traditional architectures and those based on generative AI. We present a within-group user study to compare two versions of a conversational assistant that allows heart failure patients to ask about salt content in food. One version of the system was developed in-house with a neurosymbolic architecture, and one is based on ChatGPT. The evaluation shows that the in-house system is more accurate, completes more tasks and is less verbose than the one based on ChatGPT; on the other hand, the one based on ChatGPT makes fewer speech errors and requires fewer clarifications to complete the task. Patients show no preference for one over the other.