AudiPsy: Evidence-Grounded Multimodal Reasoning over Spoken Counseling Conversations for Depression Assessment

📄 arXiv: 2610.27567v1 📥 PDF

作者: Chuanbo Zhu, Run Luo, Weibo Zhao, Yue Li, Kun Qian, Qiang Qu, Yike Guo, Minghuan Tan, Wei Xue

分类: cs.CL, cs.AI

发布日期: 2026-10-20

💡 一句话要点

提出AudiPsy以解决抑郁评估中的多模态推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抑郁评估 多模态推理 心理健康 自然语言处理 情感分析 智能咨询 大语言模型

📋 核心要点

  1. 现有方法在抑郁评估中缺乏对多模态证据的明确解释和上下文感知推理能力。
  2. 本文提出AudiPsy，通过OAS范式整合多模态情感信息，进行结构化推理。
  3. 在DAIC-WOZ数据集上的实验表明，AudiPsy的抑郁评估性能优于现有方法，并且推理质量显著提升。

📝 摘要（中文）

抑郁症评估需要整合对话中的文本和声学心理证据，但现有的端到端分类方法缺乏明确的多模态证据解释和上下文感知推理。本文提出AudiPsy，一种基于证据的全方位大语言模型（omni-LLM），用于对口语咨询对话进行抑郁评估。AudiPsy采用观察-评估-总结（OAS）范式，将对话文本、文本和声学情感以及文本-声学情感不一致性整合到结构化推理中。通过构建AudiPsy-Counsel语料库和开发三阶段课程，实验结果表明AudiPsy在抑郁评估性能上优于专门的抑郁检测方法和通用的语音/全方位大语言模型，同时推理质量也得到了提升。

🔬 方法详解

问题定义：本文旨在解决在口语咨询对话中进行抑郁评估时，现有方法无法有效整合文本和声学心理证据的问题。现有的端到端分类方法缺乏对多模态证据的明确解释和上下文感知推理能力。

核心思路：AudiPsy的核心思路是采用观察-评估-总结（OAS）范式，通过结构化推理整合对话文本、情感信息及其不一致性，以实现更准确的抑郁评估。

技术框架：AudiPsy的整体架构包括三个主要模块：观察模块用于收集和组织多模态观察，评估模块进行上下文感知的情感评估，最后总结模块维护对话的演变摘要，以支持后续的推理。

关键创新：AudiPsy的关键创新在于其证据驱动的推理能力，能够在多轮对话中动态整合和更新情感信息，与现有方法相比，提供了更为全面的上下文理解。

关键设计：在模型设计中，AudiPsy采用了多模态情感分析技术，并通过特定的损失函数优化推理过程，确保模型能够有效处理文本和声学信息的融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AudiPsy在DAIC-WOZ数据集上的抑郁评估性能显著优于专门的抑郁检测方法和通用的语音/全方位大语言模型，推理质量也得到了提升，具体性能数据未提供，需进一步查阅原文。

🎯 应用场景

该研究的潜在应用领域包括心理健康评估、智能咨询系统和情感计算等。通过提升抑郁症评估的准确性，AudiPsy能够为心理健康专业人士提供更有效的工具，帮助他们更好地理解和支持患者。未来，该技术可能在更广泛的自然对话系统中得到应用，推动人机交互的智能化发展。

📄 摘要（原文）

Depression assessment from counseling speech requires integrating textual and acoustic psychological evidence across turns, yet existing end-to-end classification approaches lack explicit multimodal evidence interpretation and context-aware reasoning. We propose AudiPsy, an evidence-grounded omni-LLM for depression assessment over spoken counseling conversations. AudiPsy employs an Observation-Assessment-Summary (OAS) paradigm to integrate dialogue transcripts, textual and acoustic emotions, and textual-acoustic emotion incongruence into structured reasoning. OAS incrementally organizes multimodal observations, performs contextualized assessment, and maintains an evolving dialogue summary for subsequent turns. To support this framework, we construct AudiPsy-Counsel, a synthetic spoken counseling conversation corpus with multimodal context augmentation, and develop a unified three-stage curriculum for depression-oriented reasoning. Experiments on DAIC-WOZ demonstrate superior depression assessment performance over specialized depression detection methods and general-purpose speech/omni-LLMs, along with improved reasoning quality, while supplementary evaluation on EATD-Corpus supports AudiPsy's applicability to naturalistic conversations.