Detecting Agitation Before Behavioral Escalation in Autistic Youth Through Multimodal Wearable Sensing
作者: Nibraas Khan, Abigale Plunk, John Staubitz, Ingrid Shragge, Jordan Brooks, Suzanne Wright, Alec Brewer, James Dieffenderfer, Alper Bozkurt, Amy Weitlauf, Nilanjan Sarkar
分类: cs.HC, cs.LG
发布日期: 2026-09-21
💡 一句话要点
通过多模态可穿戴传感器检测自闭症青少年行为升级前的焦虑状态
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自闭症 行为检测 多模态传感器 焦虑状态 机器学习 数据融合 临床应用
📋 核心要点
- 自闭症青少年中，焦虑状态的表现多样且个体化，现有方法难以准确检测其早期信号。
- 本研究通过多模态传感器收集运动、生理和声音数据，采用基础模型融合技术来检测焦虑状态。
- 实验结果显示，模型在焦虑状态出现时的检测能力达到0.724，且音频信号贡献最大，验证了方法的有效性。
📝 摘要（中文）
在68%的自闭症青少年中，攻击性、自伤和财物破坏等挑战性行为的发生风险较高。这些行为通常由焦虑状态引发，表现为运动、声音和自主神经系统的变化。研究团队收集了15名自闭症青少年的上半身运动、手腕设备的生理数据和领夹麦克风的声音数据，结合专家行为注释，采用四个预训练的基础模型进行多模态融合。模型在临床注释的焦虑状态出现时的ROC曲线下面积为0.724，显示出良好的检测能力。该研究表明，个体化的焦虑状态可以在未标注的时间窗口中被检测到，具有重要的临床应用潜力。
🔬 方法详解
问题定义：本研究旨在解决自闭症青少年在焦虑状态下行为升级的早期检测问题。现有方法往往无法捕捉到个体化的焦虑信号，导致干预时机不当。
核心思路：通过结合多模态传感器数据（运动、生理、声音），利用预训练的基础模型进行特征融合，构建一个共享的检测模型，以提高焦虑状态的检测准确性。
技术框架：研究首先收集多种模态的数据，然后将每种模态的数据映射到一个共享的128维空间，最后将这些特征融合为一个统一的模型进行训练和评估。
关键创新：本研究的创新在于采用了多模态融合的方式，通过一个共享模型来检测个体化的焦虑状态，而非为每个参与者单独训练模型，这在效率和准确性上具有显著优势。
关键设计：在模型设计中，采用了四个预训练的基础模型，分别处理不同模态的数据，并通过特征投影和融合技术来提升检测性能。实验中，音频数据对模型的贡献最大，而单独使用手腕设备的数据表现接近随机水平。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在临床注释的焦虑状态出现时的ROC曲线下面积为0.724，且在焦虑状态出现前30秒的检测能力为0.608。相比于从零开始训练的模型（0.58），本研究的融合模型显著提高了检测性能，验证了多模态数据融合的有效性。
🎯 应用场景
该研究的潜在应用领域包括自闭症青少年的行为干预和监测，能够为家长和临床医生提供实时的焦虑状态反馈，从而提前采取干预措施，降低行为升级的风险。未来，该技术还可以扩展到其他心理健康领域，帮助识别和管理不同类型的情绪障碍。
📄 摘要（原文）
Challenging behaviors including aggression, self-injury, and property destruction are observed in 68% of autistic youth and pose risks to youth and caregivers. These episodes are preceded by agitation, a rising state of distress expressed through movement, vocalization, and autonomic arousal. Its signs are subtle and individualized, and its autonomic components are invisible without instrumentation. We collected upper-body movement from inertial measurement units, physiology from a wrist-worn device, and vocalizations from lapel microphones across 30 clinician-led sessions with 15 autistic youth, paired with expert behavioral annotations. We adapt four pretrained foundation models, one per modality, project each to a shared 128-dimensional space, and fuse them into a single group model. The model detected agitation with an area under the ROC curve of 0.724 at the clinician-annotated onset (within-participant permutation p=0.0005), declining to 0.608 at 30,s before onset. Thirteen of fifteen participants were above chance. A from-scratch configuration reached only 0.58, while frozen and fine-tuned features performed comparably (0.71 and 0.72). Audio contributed most of the signal, and a watch-only configuration stayed near chance. Individualized agitation is therefore detectable, including in unannotated windows preceding the annotated onset, using foundation-model transfer with one shared model rather than one per child.