A Platform-Agnostic Multimodal Digital Human Modelling Framework: Neurophysiological Sensing in Game-Based Interaction

📄 arXiv: 2603.10680v1 📥 PDF

作者: Daniel J. Buxton, Mufti Mahmud, Jordan J. Bird, Thomas Hughes-Roberts, David J. Brown

分类: cs.HC, cs.AI

发布日期: 2026-03-11

💡 一句话要点

提出一种平台无关的多模态数字人建模框架，用于游戏交互中的神经生理传感研究。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数字人建模 多模态传感 平台无关 人机交互 神经生理信号 游戏交互 可访问性

📋 核心要点

  1. 现有AI数字人建模方法与特定平台耦合，缺乏可重复性和可扩展性，限制了其应用。
  2. 提出平台无关的DHM框架，分离传感、交互建模和推理，支持多模态交互研究。
  3. 通过作者自我测试验证了数据完整性、流连续性和同步性，为未来研究奠定基础。

📝 摘要（中文）

数字人建模(DHM)正日益受到人工智能、可穿戴生物传感和交互式数字环境进步的影响，尤其是在解决可访问性和包容性的研究中。然而，许多基于人工智能的DHM方法仍然与特定平台、任务或解释流程紧密耦合，限制了可重复性、可扩展性和合乎伦理的重用。本文提出了一种平台无关的DHM框架，旨在通过显式分离传感、交互建模和推理准备，来支持人工智能就绪的多模态交互研究。该框架集成了OpenBCI Galea头显作为一个统一的多模态传感层，提供并发的脑电图(EEG)、肌电图(EMG)、眼动图(EOG)、光电容积脉搏波(PPG)和惯性数据流，以及使用SuperTux实现的可重复的、基于游戏的交互环境。生理信号被表示为结构化的、时间对齐的可观察量，而不是嵌入AI模型或行为推理，从而使下游AI方法能够在适当的伦理批准下应用。交互使用计算任务原语和带时间戳的事件标记进行建模，支持跨异构传感器和平台的一致对齐。通过作者自我测试进行的技术验证证实了数据完整性、流连续性和同步性；没有报告人体受试者评估或AI推理。讨论了数据吞吐量、延迟以及扩展到其他传感器或交互模式的可扩展性考虑因素。示例用例展示了该框架如何支持支持人工智能的DHM和人机交互研究，包括面向可访问性的交互设计和自适应系统研究，而无需架构修改。所提出的框架为未来伦理批准的、包容性的DHM研究提供了一个新兴技术为中心的 инфраструктура。

🔬 方法详解

问题定义：现有数字人建模方法往往与特定平台、任务或数据处理流程紧密绑定，导致研究结果难以复现、扩展性差，并且在伦理层面存在潜在风险，例如数据滥用和隐私泄露。这些问题阻碍了数字人建模技术在更广泛领域，特别是可访问性和包容性研究中的应用。

核心思路：本文的核心思路是将数字人建模过程解耦为三个独立的部分：传感层、交互建模层和推理准备层。通过这种解耦，可以灵活地更换不同的传感器、交互环境和AI模型，从而提高框架的通用性和可扩展性。同时，将原始生理信号以结构化的、时间对齐的方式呈现，避免了在早期阶段嵌入特定的AI模型，从而为后续的伦理审查和模型选择提供了更大的灵活性。

技术框架：该框架主要包含三个模块：1) 多模态传感层：使用OpenBCI Galea头显采集脑电图(EEG)、肌电图(EMG)、眼动图(EOG)、光电容积脉搏波(PPG)和惯性数据。2) 交互建模层：使用计算任务原语和带时间戳的事件标记对交互过程进行建模，确保跨异构传感器和平台的数据对齐。3) 推理准备层：将生理信号表示为结构化的、时间对齐的可观察量，为后续的AI模型推理提供准备，并支持伦理审查。

关键创新：该框架的关键创新在于其平台无关的设计理念和对数字人建模过程的解耦。通过将传感、交互建模和推理准备分离，该框架能够支持各种不同的传感器、交互环境和AI模型，从而提高了其通用性和可扩展性。此外，该框架强调了数据伦理的重要性，通过将原始生理信号以结构化的方式呈现，为后续的伦理审查和模型选择提供了更大的灵活性。

关键设计：该框架的关键设计包括：1) 使用OpenBCI Galea头显作为统一的多模态传感层，提供多种生理信号的同步采集。2) 使用计算任务原语和带时间戳的事件标记对交互过程进行建模，确保跨异构传感器和平台的数据对齐。3) 将生理信号表示为结构化的、时间对齐的可观察量，为后续的AI模型推理提供准备。4) 框架设计考虑了数据吞吐量、延迟以及扩展到其他传感器或交互模式的可扩展性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文通过作者自我测试验证了框架的数据完整性、流连续性和同步性。虽然没有进行人体受试者评估或AI推理，但技术验证结果表明该框架能够可靠地采集和处理多模态生理信号，为后续的AI模型训练和应用奠定了基础。论文还讨论了数据吞吐量、延迟以及扩展到其他传感器或交互模式的可扩展性考虑因素。

🎯 应用场景

该研究成果可应用于可访问性导向的交互设计、自适应系统研究、人机交互等领域。例如，可以利用该框架开发针对残疾人士的辅助技术，或者构建能够根据用户生理状态进行自适应调整的游戏或应用。该框架的平台无关性和可扩展性使其能够适应不同的应用场景和用户需求，具有广阔的应用前景。

📄 摘要（原文）

Digital Human Modelling (DHM) is increasingly shaped by advances in AI, wearable biosensing, and interactive digital environments, particularly in research addressing accessibility and inclusion. However, many AI-enabled DHM approaches remain tightly coupled to specific platforms, tasks, or interpretative pipelines, limiting reproducibility, scalability, and ethical reuse. This paper presents a platform-agnostic DHM framework designed to support AI-ready multimodal interaction research by explicitly separating sensing, interaction modelling, and inference readiness. The framework integrates the OpenBCI Galea headset as a unified multimodal sensing layer, providing concurrent EEG, EMG, EOG, PPG, and inertial data streams, alongside a reproducible, game-based interaction environment implemented using SuperTux. Rather than embedding AI models or behavioural inference, physiological signals are represented as structured, temporally aligned observables, enabling downstream AI methods to be applied under appropriate ethical approval. Interaction is modelled using computational task primitives and timestamped event markers, supporting consistent alignment across heterogeneous sensors and platforms. Technical verification via author self-instrumentation confirms data integrity, stream continuity, and synchronisation; no human-subjects evaluation or AI inference is reported. Scalability considerations are discussed with respect to data throughput, latency, and extension to additional sensors or interaction modalities. Illustrative use cases demonstrate how the framework can support AI-enabled DHM and HCI studies, including accessibility-oriented interaction design and adaptive systems research, without requiring architectural modifications. The proposed framework provides an emerging-technology-focused infrastructure for future ethics-approved, inclusive DHM research.