SimClinician: A Multimodal Simulation Testbed for Reliable Psychologist AI Collaboration in Mental Health Diagnosis

📄 arXiv: 2512.08953v1 📥 PDF

作者: Filippo Cenacchi, Longbing Cao, Deborah Richards

分类: cs.HC, cs.AI

发布日期: 2025-11-28

💡 一句话要点

SimClinician：用于心理健康诊断中可靠的心理学家-AI协作的多模态仿真测试平台

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理健康诊断 人机协作 多模态仿真 临床决策支持 人工智能 交互界面设计

📋 核心要点

  1. 现有AI心理健康诊断研究缺乏对诊断界面设计如何影响心理学家决策的考察，难以在实际应用前进行可靠测试。
  2. SimClinician通过构建交互式仿真平台，将患者数据转化为心理学家与AI协作诊断的场景，模拟真实临床环境。
  3. 实验表明，在SimClinician中加入确认步骤可显著提高心理学家对AI建议的接受度，同时控制升级率并保持交互流畅。

📝 摘要（中文）

基于人工智能的心理健康诊断通常以基准准确率来衡量，但实际上其价值取决于心理学家如何响应——他们是接受、调整还是拒绝人工智能的建议。心理健康使得这一点尤其具有挑战性：决策是连续的，并受到患者的语调、停顿、措辞和非语言行为中的线索的影响。目前的研究很少考察人工智能诊断界面设计如何影响这些选择，这使得在实际研究之前几乎没有可靠的测试基础。我们提出了SimClinician，一个交互式仿真平台，将患者数据转化为心理学家-人工智能协作诊断。贡献包括：（1）一个集成了音频、文本和注视-表情模式的仪表板；（2）一个用于渲染去身份化动态以供分析的头像模块；（3）一个将人工智能输出映射到多模态证据的决策层，允许心理学家审查人工智能的推理并输入诊断。在E-DAIC语料库（276次临床访谈，扩展到480,000次模拟）上进行的测试表明，确认步骤将接受度提高了23%，将升级保持在9%以下，并保持了流畅的交互流程。

🔬 方法详解

问题定义：现有基于AI的心理健康诊断研究，主要关注算法的准确率，忽略了心理学家在实际应用中如何与AI系统交互，以及界面设计对心理学家决策的影响。缺乏有效的测试平台，难以在真实临床环境部署前评估AI系统的可靠性和可用性。

核心思路：SimClinician的核心思路是构建一个多模态的仿真环境，模拟真实的临床访谈场景，让心理学家在与AI协作的过程中进行诊断。通过控制和调整仿真参数，可以系统地评估不同界面设计、AI建议对心理学家决策的影响，从而优化AI系统的设计。

技术框架：SimClinician包含三个主要模块：(1) 多模态仪表板，集成音频、文本和注视-表情模式等信息；(2) 头像模块，用于渲染去身份化的患者动态；(3) 决策层，将AI输出映射到多模态证据，允许心理学家审查AI推理并输入诊断。心理学家通过仪表盘观察患者信息，AI系统提供诊断建议，心理学家可以审查AI的推理过程，并最终做出诊断。

关键创新：SimClinician的关键创新在于构建了一个可交互的多模态仿真环境，将心理学家纳入AI诊断的闭环中。它允许研究人员系统地研究AI诊断界面设计、AI建议对心理学家决策的影响，为开发更可靠、更易用的心理健康AI系统提供了基础。与传统的benchmark测试相比，SimClinician更关注AI系统在实际应用中的表现。

关键设计：SimClinician的关键设计包括：(1) 多模态数据的同步与整合，确保心理学家能够全面地了解患者的信息；(2) AI推理过程的可解释性，让心理学家能够理解AI做出诊断的原因；(3) 灵活的仿真参数控制，允许研究人员调整患者的情绪、表达等，模拟不同的临床场景。论文中提到加入了一个确认步骤，即心理学家需要确认AI的建议，实验表明这个简单的设计可以显著提高AI建议的接受度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在E-DAIC语料库（276次临床访谈，扩展到480,000次模拟）上进行的测试表明，在SimClinician中加入确认步骤可以将心理学家对AI建议的接受度提高23%，同时将升级率（心理学家拒绝AI建议）保持在9%以下，并保持了流畅的交互流程。这表明SimClinician能够有效地模拟真实的临床环境，并为AI系统的设计提供有价值的反馈。

🎯 应用场景

SimClinician可用于心理健康AI系统的开发和评估，帮助研究人员设计更可靠、更易用的AI诊断工具。它还可以用于心理学家的培训，提高他们与AI系统协作的能力。此外，该平台可以扩展到其他医疗领域，例如神经疾病诊断、康复治疗等。

📄 摘要（原文）

AI based mental health diagnosis is often judged by benchmark accuracy, yet in practice its value depends on how psychologists respond whether they accept, adjust, or reject AI suggestions. Mental health makes this especially challenging: decisions are continuous and shaped by cues in tone, pauses, word choice, and nonverbal behaviors of patients. Current research rarely examines how AI diagnosis interface design influences these choices, leaving little basis for reliable testing before live studies. We present SimClinician, an interactive simulation platform, to transform patient data into psychologist AI collaborative diagnosis. Contributions include: (1) a dashboard integrating audio, text, and gaze-expression patterns; (2) an avatar module rendering de-identified dynamics for analysis; (3) a decision layer that maps AI outputs to multimodal evidence, letting psychologists review AI reasoning, and enter a diagnosis. Tested on the E-DAIC corpus (276 clinical interviews, expanded to 480,000 simulations), SimClinician shows that a confirmation step raises acceptance by 23%, keeping escalations below 9%, and maintaining smooth interaction flow.