Integrating Virtual Reality and Large Language Models for Team-Based Non-Technical Skills Training and Evaluation in the Operating Room

📄 arXiv: 2601.13406v1 📥 PDF

作者: Jacob Barker, Doga Demirel, Cullen Jackson, Anna Johansson, Robbin Miraglia, Darian Hoagland, Stephanie B. Jones, John Mitchell, Daniel B. Jones, Suvranu De

分类: cs.HC, cs.AI

发布日期: 2026-01-19

备注: 23 pages, 7 figures, 1 table, 2 Appendices

💡 一句话要点

VORTeX：结合VR与LLM，用于手术室团队非技术技能培训与评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚拟现实 大型语言模型 非技术技能 团队培训 手术模拟

📋 核心要点

  1. 传统手术培训侧重技术技能，忽略了团队合作和沟通等非技术技能的重要性，缺乏有效的培训和评估工具。
  2. VORTeX通过VR模拟手术场景，结合LLM分析团队对话，自动评估沟通、决策等非技术技能，并生成反馈。
  3. VORTeX在SAGES会议上进行了试点，参与者认为其直观、沉浸，且LLM能准确反映手术团队层级结构。

📝 摘要（中文）

手术安全的关键在于有效的团队合作和沟通，但相比于技术模拟，非技术技能(NTS)的结构化培训仍然不足。ACS/APDS第三阶段团队技能课程呼吁开发可扩展的工具，以便在腹腔镜紧急情况下教授和客观评估这些能力。我们介绍了虚拟手术室团队体验(VORTeX)，这是一个多用户虚拟现实(VR)平台，它将沉浸式团队模拟与大型语言模型(LLM)分析相结合，以训练和评估沟通、决策、团队合作和领导能力。团队对话使用源自外科医生非技术技能(NOTSS)框架的结构化提示进行分析，从而能够自动分类行为并生成定向交互图，量化沟通结构和层级。实施了两种腹腔镜紧急情况场景，气胸和腹腔内出血，以引发真实的压力和协作。十二名外科专业人员在2024年SAGES会议上完成了试点会议，认为VORTeX直观、沉浸且对发展团队合作和沟通有价值。LLM始终如一地生成可解释的沟通网络，反映了预期的手术层级，外科医生作为中心集成者，护士作为发起者，麻醉师作为平衡的中介。通过将沉浸式VR与LLM驱动的行为分析相结合，VORTeX提供了一个可扩展、符合隐私的框架，用于在分布式培训环境中进行客观评估和自动化的、数据驱动的汇报。

🔬 方法详解

问题定义：论文旨在解决手术团队非技术技能培训和评估不足的问题。现有方法主要依赖于主观评估和人工观察，缺乏客观、可扩展的评估工具。此外，传统的培训方法难以模拟真实的手术压力和团队互动，限制了培训效果。

核心思路：论文的核心思路是将沉浸式虚拟现实(VR)技术与大型语言模型(LLM)相结合，构建一个多用户虚拟手术室环境，模拟真实的手术场景，并通过LLM自动分析团队成员的沟通行为，客观评估其非技术技能。这样既能提供沉浸式的培训体验，又能实现可扩展的、数据驱动的评估和反馈。

技术框架：VORTeX系统的整体架构包括以下几个主要模块：1) VR手术室环境：提供沉浸式的虚拟手术场景，模拟各种紧急情况。2) 多用户交互：支持多个参与者同时在VR环境中进行协作。3) 语音识别模块：将团队成员的语音转化为文本。4) LLM分析模块：使用预定义的prompt，基于NOTSS框架分析文本，识别关键行为，并生成沟通网络图。5) 评估和反馈模块：根据LLM的分析结果，生成客观的评估报告和个性化的反馈。

关键创新：该论文最重要的技术创新点在于将VR沉浸式模拟与LLM行为分析相结合，实现了对团队非技术技能的客观、自动评估。与传统方法相比，该方法具有更高的可扩展性、更低的成本和更强的客观性。此外，利用LLM生成的沟通网络图能够直观地展示团队的沟通结构和层级关系，为改进团队合作提供有价值的参考。

关键设计：论文的关键设计包括：1) 基于NOTSS框架设计结构化prompt，用于指导LLM分析团队对话。2) 设计了气胸和腹腔内出血两种紧急情况场景，以激发团队成员的真实反应。3) 使用LLM生成定向交互图，量化沟通结构和层级。4) 采用符合隐私保护原则的数据处理方法，确保用户数据的安全。

📊 实验亮点

该研究在2024年SAGES会议上进行了试点，12名外科专业人员参与了测试，结果表明VORTeX系统直观、沉浸，对发展团队合作和沟通有价值。LLM能够一致地生成可解释的沟通网络，准确反映手术团队的层级结构，验证了该方法的可行性和有效性。外科医生被识别为中心集成者，护士为发起者，麻醉师为平衡的中介。

🎯 应用场景

VORTeX具有广泛的应用前景，可用于医疗团队的非技术技能培训、手术模拟演练、团队协作能力评估等方面。该系统能够降低培训成本，提高培训效率，并为医疗机构提供客观的团队绩效评估数据，从而提升医疗质量和患者安全。未来，该技术可扩展到其他需要团队协作的领域，如航空、消防等。

📄 摘要（原文）

Although effective teamwork and communication are critical to surgical safety, structured training for non-technical skills (NTS) remains limited compared with technical simulation. The ACS/APDS Phase III Team-Based Skills Curriculum calls for scalable tools that both teach and objectively assess these competencies during laparoscopic emergencies. We introduce the Virtual Operating Room Team Experience (VORTeX), a multi-user virtual reality (VR) platform that integrates immersive team simulation with large language model (LLM) analytics to train and evaluate communication, decision-making, teamwork, and leadership. Team dialogue is analyzed using structured prompts derived from the Non-Technical Skills for Surgeons (NOTSS) framework, enabling automated classification of behaviors and generation of directed interaction graphs that quantify communication structure and hierarchy. Two laparoscopic emergency scenarios, pneumothorax and intra-abdominal bleeding, were implemented to elicit realistic stress and collaboration. Twelve surgical professionals completed pilot sessions at the 2024 SAGES conference, rating VORTeX as intuitive, immersive, and valuable for developing teamwork and communication. The LLM consistently produced interpretable communication networks reflecting expected operative hierarchies, with surgeons as central integrators, nurses as initiators, and anesthesiologists as balanced intermediaries. By integrating immersive VR with LLM-driven behavioral analytics, VORTeX provides a scalable, privacy-compliant framework for objective assessment and automated, data-informed debriefing across distributed training environments.