MemoCare: An Interactive Multimodal Mobile System for Automated Cognitive Screening
作者: Duy-Cat Can, Mau Minh Phuc Le, Tuan-Khoa Hoang, Hai-Dang Nguyen, Trung-Hieu Do, Dang Minh Ly, Minh-Duc Nguyen, Nghia TT Hoang, Linh-Trung Nguyen, Huy-Hieu Pham, Huong Ha, Binh T. Nguyen, Oliver Y. Chén
分类: cs.MM, cs.CV, cs.HC
发布日期: 2026-10-07
备注: 8 pages, 1 figure, 1 table. Demo paper submitted to the MMM 2027 Demo Track
💡 一句话要点
提出MemoCare以实现自动化多模态认知筛查
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态交互 认知筛查 自动化系统 卷积神经网络 移动应用 自然语言处理 空间解析 用户交互
📋 核心要点
- 现有的认知筛查方法往往依赖于人工评估，效率低且易受主观因素影响。
- MemoCare通过多模态交互，结合语音、触摸和视觉任务，实现了自动化的认知筛查流程。
- 实验结果显示，系统在各项评分中均表现优异，尤其是在绘图任务中达到了91.33%的平均准确率。
📝 摘要（中文）
MemoCare是一个交互式移动系统，用于自动化多模态认知筛查。该系统通过React Native应用程序结合了口语响应、时间和空间定向、触摸操作以及视觉构建，支持完整的英语和越南语工作流程。语音通过Google语音转文本进行转录，并使用确定性的任务特定自然语言处理规则进行本地评分；MemoCare空间模块解析GPS坐标以匹配答案；触摸任务通过交互事件进行评分；绘图任务使用三模型卷积神经网络共识进行视觉解释。软件测试在语音/语言、空间答案和触摸交互评分中通过了151/151个预定义案例，而空间回归在四个国家的坐标解析案例中通过了48/48。绘图模块的ShuffleNetV2 x1.5在锁定的71幅图像测试集中实现了91.33%的平均平衡准确率和78.87%的精确三标准准确率。
🔬 方法详解
问题定义：本论文旨在解决传统认知筛查方法中人工评估效率低、主观性强的问题。现有方法往往依赖于临床医生的判断，缺乏自动化和标准化的流程。
核心思路：MemoCare的核心思路是通过多模态交互，结合语音、触摸和视觉任务，构建一个自动化的认知筛查系统，以提高效率和准确性。这样的设计使得用户可以通过自然的交互方式完成筛查，降低了操作难度。
技术框架：MemoCare的整体架构包括多个模块：语音转录模块使用Google Speech-to-Text，空间模块解析GPS坐标，触摸交互模块记录用户操作，绘图模块则利用卷积神经网络进行图像分析。各模块协同工作，形成完整的筛查流程。
关键创新：论文的主要创新在于将多模态交互与自动化认知筛查相结合，尤其是在绘图任务中采用三模型卷积神经网络共识，显著提高了视觉任务的准确性。这与传统的单一评估方法形成了鲜明对比。
关键设计：在技术细节上，绘图模块采用ShuffleNetV2 x1.5网络结构，经过验证选择，确保了高效的计算性能和准确性。此外，评分机制基于确定性的自然语言处理规则和交互事件，确保了评分的客观性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MemoCare在语音、空间答案和触摸交互评分中均通过了151个预定义案例，表现出极高的准确性。同时，绘图模块的ShuffleNetV2 x1.5在71幅图像测试集中达到了91.33%的平均平衡准确率，显示出显著的性能提升。
🎯 应用场景
MemoCare系统的潜在应用领域包括医疗健康、老年人认知能力评估、心理健康筛查等。其自动化和多模态的特性使得在不同语言和文化背景下的认知筛查变得更加高效和可靠。未来，该系统有望在临床实践中得到广泛应用，提升认知障碍的早期发现率。
📄 摘要（原文）
MemoCare is an interactive mobile system for automated multimodal cognitive screening. A React Native application combines spoken responses, temporal and spatial orientation, touchscreen actions, and visuoconstruction in complete English and Vietnamese workflows. Speech is transcribed by Google Speech-to-Text and scored locally with deterministic task-specific natural language processing rules; GPS coordinates are resolved by the MemoCare spatial module before answer matching; touch tasks are scored from interaction events; and the drawing task uses a three-model convolutional neural network consensus with separate visual interpretation. Software tests pass 151/151 predefined cases across speech/language, spatial-answer, and touch-interaction scoring, while spatial regression passes 48/48 four-country coordinate-resolution cases. For the drawing module, validation-selected ShuffleNetV2 x1.5 achieved 91.33% mean balanced accuracy and 78.87% exact three-criterion accuracy on a locked 71-image test set. Four clinician co-authors additionally inspected the end-to-end workflow, yielding a pooled median rating of 4/5 across eight criteria, with item-level medians ranging from 3 to 4.5. At MMM, attendees can directly try a shortened multimodal screening workflow and inspect automatic item-level and total scoring.