Evaluating Usability and Engagement of Large Language Models in Virtual Reality for Traditional Scottish Curling

📄 arXiv: 2408.09285v2 📥 PDF

作者: Ka Hei Carrie Lau, Efe Bozkir, Hong Gao, Enkelejda Kasneci

分类: cs.HC, cs.AI

发布日期: 2024-08-17 (更新: 2024-09-25)

期刊: ECCV 2024 Workshops

DOI: 10.1007/978-3-031-91572-7_11

💡 一句话要点

利用大型语言模型提升VR环境中苏格兰冰壶教学的可用性和参与度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 虚拟现实 文化遗产教育 苏格兰冰壶 用户参与度

📋 核心要点

  1. 传统文化遗产的保护和传播面临挑战，现有方法在互动性和沉浸感方面存在不足。
  2. 利用大型语言模型驱动的VR环境，提供更自然、动态的交互体验，提升用户参与度和学习效果。
  3. 实验结果表明，基于LLM的聊天机器人显著提高了用户互动性和参与度，创造了更具沉浸感的学习环境。

📝 摘要（中文）

本文探索了大型语言模型（LLM）在虚拟现实（VR）环境中创新应用，以促进传统文化遗产教育，重点关注游戏“Scottish Bonspiel VR”中呈现的传统苏格兰冰壶运动。研究比较了基于LLM的聊天机器人与预定义脚本聊天机器人的有效性，评估了可用性、用户参与度和学习成果等关键标准。结果表明，基于LLM的聊天机器人显著提高了互动性和参与度，创造了更具活力和沉浸式的学习环境。这种集成有助于记录和保护文化遗产，并加强传播过程，这对于在环境变化中保护非物质文化遗产（ICH）至关重要。此外，该研究强调了新型技术在教育中提供沉浸式体验的潜力，从而培养对文化遗产的更深层次的欣赏。这些发现支持LLM和VR在文化教育中的更广泛应用，以应对全球挑战并促进可持续实践，从而保护和加强文化遗产。

🔬 方法详解

问题定义：论文旨在解决传统文化遗产教育在虚拟现实（VR）环境中互动性不足的问题。现有方法，如预定义脚本的聊天机器人，缺乏灵活性和适应性，难以提供个性化和引人入胜的学习体验，从而限制了用户参与度和学习效果。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大自然语言处理能力，构建更智能、更具交互性的VR环境。通过将LLM集成到VR聊天机器人中，使其能够理解用户的提问，并生成更自然、更相关的回答，从而提升用户的参与度和沉浸感。

技术框架：该研究的技术框架主要包括以下几个部分：1) VR环境：使用VR技术构建苏格兰冰壶的虚拟场景，提供沉浸式的学习体验。2) 聊天机器人：构建基于LLM和预定义脚本两种类型的聊天机器人，作为用户与VR环境交互的接口。3) 用户交互：用户通过VR设备与聊天机器人进行交互，提问关于苏格兰冰壶的问题。4) 评估指标：采用可用性、用户参与度和学习成果等指标，评估不同聊天机器人的效果。

关键创新：该研究的关键创新在于将大型语言模型（LLM）应用于VR环境中的文化遗产教育。与传统的预定义脚本聊天机器人相比，基于LLM的聊天机器人能够理解更复杂的用户提问，并生成更自然、更具上下文相关的回答，从而显著提升用户的互动性和参与度。

关键设计：论文中没有详细描述LLM的具体参数设置、损失函数或网络结构。但是，可以推断，LLM的选择和训练是关键。可能使用了微调（fine-tuning）技术，利用与苏格兰冰壶相关的知识对LLM进行训练，以提高其在该领域的专业性。此外，聊天机器人的界面设计和交互逻辑也至关重要，需要保证用户能够方便地提问和获取信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与预定义脚本的聊天机器人相比，基于LLM的聊天机器人显著提高了用户的互动性和参与度。具体而言，用户在使用LLM聊天机器人时，更愿意主动提问和探索VR环境，学习效果也得到了提升。这些结果表明，LLM在VR环境中具有巨大的应用潜力。

🎯 应用场景

该研究成果可广泛应用于文化遗产教育、博物馆展览、旅游导览等领域。通过结合VR和LLM技术，可以创造更具吸引力和互动性的学习体验，帮助人们更好地了解和传承文化遗产。此外，该方法还可应用于其他领域的教育和培训，例如历史、科学和艺术等。

📄 摘要（原文）

This paper explores the innovative application of Large Language Models (LLMs) in Virtual Reality (VR) environments to promote heritage education, focusing on traditional Scottish curling presented in the game ``Scottish Bonspiel VR''. Our study compares the effectiveness of LLM-based chatbots with pre-defined scripted chatbots, evaluating key criteria such as usability, user engagement, and learning outcomes. The results show that LLM-based chatbots significantly improve interactivity and engagement, creating a more dynamic and immersive learning environment. This integration helps document and preserve cultural heritage and enhances dissemination processes, which are crucial for safeguarding intangible cultural heritage (ICH) amid environmental changes. Furthermore, the study highlights the potential of novel technologies in education to provide immersive experiences that foster a deeper appreciation of cultural heritage. These findings support the wider application of LLMs and VR in cultural education to address global challenges and promote sustainable practices to preserve and enhance cultural heritage.