Coordinated 2D-3D Visualization of Volumetric Medical Data in XR with Multimodal Interactions

📄 arXiv: 2506.22926v1 📥 PDF

作者: Qixuan Liu, Shi Qiu, Yinqiao Wang, Xiwen Wu, Kenneth Siu Ho Chok, Chi-Wing Fu, Pheng-Ann Heng

分类: cs.HC, cs.GR, cs.MM

发布日期: 2025-06-28

备注: IEEE VIS 2025 Short Paper

💡 一句话要点

提出一种基于XR的多模态交互医学数据可视化系统，提升空间理解和降低认知负荷。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: XR 医学影像 可视化 多模态交互 LLM 手势识别 协同可视化

📋 核心要点

  1. 医学影像数据可视化面临挑战，尤其对于医学知识有限的人员，难以有效理解和探索复杂的3D结构。
  2. 提出一种XR系统，结合多平面重建和3D网格模型进行协同可视化，并融合手势和LLM语音命令实现多模态交互。
  3. 用户研究表明，该系统能显著提升空间理解能力，缩短任务完成时间，并提高可用性，降低认知负荷。

📝 摘要（中文）

本文提出了一种基于XR的新型系统，用于医学数据的可视化和探索，旨在解决医学专业知识有限人员面临的挑战。该系统包含两个关键创新：(1)一个集成了多层多平面重建与3D网格模型的协同可视化模块；(2)一个结合手势和LLM驱动的语音命令的多模态交互框架。通过包含15名参与者的用户研究和专家访谈的初步评估，验证了该系统增强空间理解和降低认知负荷的能力。实验结果表明，在任务完成时间、可用性指标以及LLM驱动的语音控制增强的交互有效性方面，均有显著改善。研究结果强调了这种沉浸式可视化系统在推进医学培训和临床实践方面的潜力，同时也指出了未来需要改进的领域。提供的演示应用程序和补充材料可在https://osf.io/bpjq5/下载。

🔬 方法详解

问题定义：现有医学影像可视化方法在帮助非专业人士理解复杂3D解剖结构方面存在不足。传统方法难以提供直观的空间感知，导致认知负荷高，影响学习和诊断效率。因此，需要一种更易于理解和交互的医学数据可视化方案。

核心思路：利用XR技术的沉浸式体验，结合多模态交互方式，提供更直观、自然的医学数据探索方式。通过协同可视化和语音控制，降低用户的认知负荷，提升空间理解能力。

技术框架：该系统主要包含两个模块：协同可视化模块和多模态交互框架。协同可视化模块将多层多平面重建（Multi-layered Multi-planar Reconstruction）与3D网格模型相结合，提供多角度、多层次的医学数据呈现。多模态交互框架则融合了手势识别和LLM驱动的语音命令，允许用户通过自然的手势和语音进行交互。

关键创新：该系统的关键创新在于将多层多平面重建与3D网格模型进行协同可视化，并结合手势和LLM驱动的语音命令实现多模态交互。这种结合充分利用了XR的沉浸式体验和LLM的自然语言理解能力，为用户提供了一种更直观、自然的医学数据探索方式。与传统方法相比，该系统能够显著降低用户的认知负荷，提升空间理解能力。

关键设计：具体的技术细节包括：多平面重建的层数和平面间距的设置，3D网格模型的精细度和渲染效果，手势识别算法的选择和优化，以及LLM语音命令的语义理解和意图识别。此外，系统还需考虑XR设备的性能限制，对模型进行优化，以保证流畅的交互体验。具体的损失函数和网络结构等细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

用户研究表明，该系统在任务完成时间、可用性指标以及交互有效性方面均有显著改善。LLM驱动的语音控制显著提升了交互效率。专家访谈也证实了该系统在增强空间理解和降低认知负荷方面的潜力。具体性能数据未在摘要中给出，属于未知信息。

🎯 应用场景

该研究成果可应用于医学教育培训、临床诊断辅助、手术规划等领域。通过XR技术，医学生和医生可以更直观地学习和理解人体解剖结构，提高诊断准确性和手术效率。此外，该系统还可用于患者教育，帮助患者更好地了解自身病情。

📄 摘要（原文）

Volumetric medical imaging technologies produce detailed 3D representations of anatomical structures. However, effective medical data visualization and exploration pose significant challenges, especially for individuals with limited medical expertise. We introduce a novel XR-based system with two key innovations: (1) a coordinated visualization module integrating Multi-layered Multi-planar Reconstruction with 3D mesh models and (2) a multimodal interaction framework combining hand gestures with LLM-enabled voice commands. We conduct preliminary evaluations, including a 15-participant user study and expert interviews, to demonstrate the system's abilities to enhance spatial understanding and reduce cognitive load. Experimental results show notable improvements in task completion times, usability metrics, and interaction effectiveness enhanced by LLM-driven voice control. While identifying areas for future refinement, our findings highlight the potential of this immersive visualization system to advance medical training and clinical practice. Our demo application and supplemental materials are available for download at: https://osf.io/bpjq5/.