NarraSpace: Multimodal Scene-Grounded Evidence for Picture-Description Dementia Classification
作者: Qingming Li, Ruiyan Sun, Satoshi Nakamura
分类: cs.CL
发布日期: 2026-10-20
备注: 30 pages, 3 figures
💡 一句话要点
提出NarraSpace以解决图像描述性痴呆分类问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像描述性痴呆 多模态分析 语言模型 支持向量机 临床应用
📋 核心要点
- 现有方法在图像描述性痴呆分类中，无法有效识别输入背后的场景证据，导致分类准确性不足。
- NarraSpace通过将语言模型测量与源话语、语音时间和提取记录连接，提供了明确的场景关联分类输入。
- 在阿尔茨海默病自发语音识别基准的48名参与者测试集中，固定支持向量分类器的平均准确率达到80.88%，表现优异。
📝 摘要（中文）
图像描述性痴呆分类依赖共享视觉场景，但仅依靠转录级预测无法识别输入背后的场景证据。NarraSpace将词语和语音时间与命名图像元素关联，并为预定义场景事件检索话语。叙事空间描述符总结了覆盖范围和时间组织。通过对阿尔茨海默病与健康对照组参与者的示例进行对比，使用固定的语言模型分析每个事件的文本，并结合转录惊讶度和覆盖度测量。NarraSpace明确且可检视地构建了与场景相关的分类输入，支持临床医生通过定量摘要和原始语音证据的结合来审查图像描述。
🔬 方法详解
问题定义：本论文旨在解决图像描述性痴呆分类中，现有方法无法识别和利用输入背后的场景证据的问题。现有方法往往仅依赖转录文本，缺乏对场景信息的深入分析。
核心思路：NarraSpace通过将语言模型的测量与具体的场景事件关联，提供了一种新的方式来分析和分类图像描述。这种设计使得分类过程更加透明和可检视。
技术框架：整体架构包括几个主要模块：首先，识别图像中的元素并与语言模型进行关联；其次，提取与预定义场景事件相关的语音数据；最后，通过支持向量分类器进行分类和评估。
关键创新：NarraSpace的核心创新在于将事件索引的语言模型测量与其源话语和语音时间连接，形成了一种新的分类输入构建方式。这一方法与传统的仅依赖文本的分类方法有本质区别。
关键设计：在技术细节上，使用了固定的支持向量分类器，并结合转录惊讶度和覆盖度等测量指标，以提高分类的准确性和可靠性。
🖼️ 关键图片
📊 实验亮点
在阿尔茨海默病自发语音识别基准的48名参与者测试集中，NarraSpace的固定支持向量分类器实现了80.88%的平均准确率，且通过概率平均计算，准确率提升至81.25%，接收者操作特征曲线下的面积达到91.32%，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括医疗诊断、老年痴呆症的早期识别和临床评估。通过提供定量的分类结果和原始语音证据的结合，NarraSpace可以帮助临床医生更好地理解患者的语言能力和认知状态，进而制定更有效的治疗方案。
📄 摘要（原文）
Picture-description dementia classification uses a shared visual scene, but a transcript-level prediction alone does not identify the scene evidence underlying its inputs. NarraSpace links words and speech times to named picture elements and retrieves utterances for predefined scene events. Narrative-spatial descriptors summarize coverage and temporal organization. A frozen language model contrasts each event's text under examples from Alzheimer's disease and healthy-control training participants, alongside transcript surprisal and coverage measurements. Retained source records link event scores to their source utterances, speech intervals, and lexical matches. On the official 48-participant test set of the Alzheimer's Dementia Recognition through Spontaneous Speech benchmark, a fixed support vector classifier achieves $80.88\%\pm2.56\%$ mean accuracy over fifty seeds; averaged probabilities yield $81.25\%$ accuracy and $91.32\%$ area under the receiver operating characteristic curve. NarraSpace makes the construction of scene-linked classification inputs explicit and inspectable by connecting event-indexed language-model measurements to their source utterances, speech timing, and extraction records. Such source-linked measurements could support clinician review of picture descriptions by presenting quantitative summaries alongside the original speech evidence.