A multimodal large language model for evidence-based autism spectrum disorder screening

📄 arXiv: 2609.16464v1 📥 PDF

作者: Jun Chen, Qi Zhao, Yunliang Jiang, Shuqin Cao, Yunqiang Lin, Chenglong Jia, Qiang Guo, Guang Dai, Xiongtao Zhang, Mengmeng Wang, Xiaoyue Ma

分类: cs.CV, cs.HC, cs.LG

发布日期: 2026-09-15

💡 一句话要点

提出ASDchat以解决自闭症谱系障碍早期筛查问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自闭症筛查 多模态模型 行为证据 临床应用 机器学习

📋 核心要点

  1. 现有的自闭症谱系障碍筛查方法面临专家资源稀缺和评估工具主观性强的挑战。
  2. ASDchat是一种多模态大型语言模型，能够处理视频、音频和对话输入，采用双分支架构进行筛查。
  3. 在1,035名参与者的数据集上，ASDchat在ASD与TD儿童的区分上取得了0.953的AUC，显示出显著的筛查效果。

📝 摘要（中文）

自闭症谱系障碍（ASD）的临床管理在早期筛查方面面临瓶颈，主要由于受过训练的专家稀缺以及传统评估工具的主观性。本文介绍了ASDchat，这是一种多模态大型语言模型，旨在基于证据进行ASD筛查，能够处理视频、音频和对话输入。ASDchat采用双分支架构，决策分支生成筛查概率，证据分支生成与标准临床标准（ADOS-2）对齐的可追溯、带时间戳的行为证据。该模型在中国27个地点的1,035名参与者的数据集上进行了训练和评估，结果显示ASDchat在ASD与典型发展（TD）儿童的区分上达到了0.953 ± 0.021的接收者操作特征曲线下面积（AUC）。在9个未用于训练的持出地点，平均AUC为0.932。此外，行为维度的无监督聚类将ASD病例分为六种具有不同表型特征的亚型，ASDchat为每种亚型建议了干预措施。ASDchat为临床实践中的大规模、基于证据的早期ASD筛查提供了可行路径。

🔬 方法详解

问题定义：论文要解决自闭症谱系障碍（ASD）早期筛查的有效性问题。现有方法依赖于专家评估，资源稀缺且主观性强，导致筛查效率低下。

核心思路：论文提出ASDchat，通过多模态输入（视频、音频、对话）和双分支架构，提供基于证据的筛查结果。决策分支生成筛查概率，证据分支提供可追溯的行为证据。

技术框架：ASDchat的整体架构包括两个主要模块：决策分支和证据分支。决策分支负责生成筛查概率，证据分支则生成与标准临床标准（ADOS-2）对齐的行为证据，确保结果的可靠性和可追溯性。

关键创新：ASDchat的核心创新在于其双分支架构和多模态输入处理能力，使得筛查结果不仅具有高准确性，还能提供详细的行为证据，区别于传统的单一输入和主观评估方法。

关键设计：模型在训练过程中使用了1,035名参与者的数据，采用了适当的损失函数以优化决策分支和证据分支的输出，确保模型在不同子类型的ASD病例中能够有效区分。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ASDchat在ASD与典型发展儿童的区分上达到了0.953 ± 0.021的AUC，在未用于训练的持出地点的平均AUC为0.932，显示出其在不同环境下的稳健性。此外，模型能够将ASD病例分为六种亚型，并为每种亚型提供针对性的干预建议。

🎯 应用场景

ASDchat的研究成果在自闭症谱系障碍的早期筛查中具有重要应用价值，能够为临床提供高效、客观的筛查工具，帮助医生在资源有限的情况下进行有效评估。未来，该模型有望推广至其他心理健康领域，提升早期干预的可能性。

📄 摘要（原文）

The clinical management of autism spectrum disorder (ASD) faces a bottleneck in early screening, mainly because trained specialists are scarce and conventional assessment tools are subjective. Here, we introduce ASDchat, a multimodal large language model designed for evidence-based ASD screening, which takes video, audio, and dialogue as input. ASDchat adopts a dual-branch architecture, where the decision branch generates screening probabilities and the evidence branch generates traceable, timestamped behavioral evidence aligned with standardized clinical criteria (ADOS-2). The model was trained and evaluated on a dataset of 1,035 participants from 27 sites in China, which covered typically developing (TD) children, children with ASD, and children with other disorders. For ASD versus TD, ASDchat reached an area under the receiver operating characteristic curve (AUC) of 0.953 $\pm$ 0.021. On 9 held-out sites that were not used for training, the mean AUC was 0.932. Furthermore, unsupervised clustering of the behavioral dimensions split the ASD cases into six subtypes with different phenotypic profiles, and ASDchat suggests an intervention for each subtype. ASDchat provides a feasible path for large-scale, evidence-based early ASD screening in clinical practice.