XR-CareerAssist: An Immersive Platform for Personalised Career Guidance Leveraging Extended Reality and Multimodal AI

📄 arXiv: 2604.06901v1 📥 PDF

作者: N. D. Tantaroudas, A. J. McCracken, I. Karachalios, E. Papatheou, V. Pastrikakis

分类: cs.CE, cs.AI, cs.CV, cs.CY, cs.ET

发布日期: 2026-04-08

备注: 21

💡 一句话要点

XR-CareerAssist：利用扩展现实和多模态AI的沉浸式个性化职业指导平台

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩展现实 职业指导 多模态AI 个性化推荐 语音识别 自然语言处理 沉浸式体验

📋 核心要点

  1. 现有职业指导平台交互性不足，难以提供个性化和引人入胜的体验，限制了其有效性。
  2. XR-CareerAssist融合XR和多模态AI，构建沉浸式职业指导平台，提供个性化和多语言支持。
  3. 实验表明，该平台具有高语音识别准确率和用户满意度，并为后续改进提供了宝贵反馈。

📝 摘要（中文）

传统的职业指导平台依赖于静态的、文本驱动的界面，难以吸引用户或提供个性化的、基于证据的见解。尽管计算机辅助职业指导系统自20世纪60年代以来已经发展，但它们在交互性方面仍然有限，并且很少关注职业发展的叙事维度。我们介绍了XR-CareerAssist，一个将扩展现实（XR）与多个人工智能（AI）模块统一起来的平台，以提供沉浸式的、多语言的职业指导。该系统集成了用于语音驱动交互的自动语音识别、跨英语、希腊语、法语和意大利语的神经机器翻译、用于个性化对话的基于Langchain的会话训练助手、用于职业可视化的基于BLIP的视觉-语言模型，以及通过交互式3D头像提供的AWS Polly文本到语音。职业轨迹被呈现为从超过10万个匿名专业档案库中导出的动态桑基图。该应用程序在Unity中为Meta Quest 3构建，后端服务托管在AWS上。在埃克塞特大学进行的包含23名参与者的初步评估返回了95.6%的语音识别准确率、78.3%的总体用户满意度以及91.3%的系统响应性好评，这些反馈为后续的运动舒适性、音频清晰度和文本易读性改进提供了信息。XR-CareerAssist展示了XR和AI的融合如何产生更具吸引力、可访问性和有效性的职业发展工具，在单个沉浸式环境中集成五个AI模块产生了一种多模态交互体验，这使其与现有的职业指导平台区分开来。

🔬 方法详解

问题定义：现有职业指导系统主要依赖静态文本界面，缺乏沉浸感和个性化，难以有效吸引用户并提供有价值的职业发展建议。这些系统在交互性、多语言支持和利用视觉信息方面存在局限性。

核心思路：XR-CareerAssist的核心思路是利用扩展现实（XR）技术提供沉浸式体验，并结合多种人工智能（AI）模块，实现个性化、多语言和多模态的职业指导。通过将职业信息可视化，并提供语音交互和对话式指导，增强用户的参与度和理解。

技术框架：XR-CareerAssist平台的技术框架包括以下主要模块：1) XR界面：使用Unity为Meta Quest 3构建的沉浸式环境。2) 自动语音识别（ASR）：用于语音驱动的交互。3) 神经机器翻译（NMT）：支持英语、希腊语、法语和意大利语。4) 会话训练助手：基于Langchain，提供个性化对话。5) 视觉-语言模型：基于BLIP，用于职业可视化。6) 文本到语音（TTS）：使用AWS Polly，通过3D头像呈现。7) 职业轨迹可视化：使用动态桑基图展示职业发展路径。后端服务托管在AWS上。

关键创新：该平台的关键创新在于将XR技术与多种AI模块集成到一个统一的沉浸式环境中，从而提供多模态的职业指导体验。与传统的职业指导平台相比，XR-CareerAssist具有更高的交互性、个性化程度和多语言支持能力。此外，利用视觉-语言模型将职业信息可视化，有助于用户更好地理解和规划职业发展。

关键设计：该平台使用Unity引擎开发XR界面，并针对Meta Quest 3进行了优化，以提供流畅的沉浸式体验。Langchain被用于构建会话训练助手，允许用户进行自然语言对话。BLIP模型被用于生成职业相关的可视化内容。AWS Polly提供高质量的文本到语音转换。动态桑基图用于清晰地展示职业轨迹。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在埃克塞特大学进行的初步评估中，XR-CareerAssist取得了显著成果。语音识别准确率高达95.6%，总体用户满意度为78.3%，系统响应性获得了91.3%的好评。这些结果表明，该平台具有良好的可用性和用户体验，并为后续改进提供了有价值的反馈，例如提升运动舒适性、音频清晰度和文本易读性。

🎯 应用场景

XR-CareerAssist可应用于高等院校、职业培训机构和企业，为学生、求职者和员工提供个性化的职业规划和发展指导。该平台能够提升职业指导的参与度和有效性，帮助用户更好地了解自身优势和职业发展机会，从而做出更明智的职业决策。未来，该平台可扩展到更多语言和职业领域，并集成更多AI功能，如职业技能评估和推荐。

📄 摘要（原文）

Conventional career guidance platforms rely on static, text-driven interfaces that struggle to engage users or deliver personalised, evidence-based insights. Although Computer-Assisted Career Guidance Systems have evolved since the 1960s, they remain limited in interactivity and pay little attention to the narrative dimensions of career development. We introduce XR-CareerAssist, a platform that unifies Extended Reality (XR) with several Artificial Intelligence (AI) modules to deliver immersive, multilingual career guidance. The system integrates Automatic Speech Recognition for voice-driven interaction, Neural Machine Translation across English, Greek, French, and Italian, a Langchain-based conversational Training Assistant for personalised dialogue, a BLIP-based Vision-Language model for career visualisations, and AWS Polly Text-to-Speech delivered through an interactive 3D avatar. Career trajectories are rendered as dynamic Sankey diagrams derived from a repository of more than 100,000 anonymised professional profiles. The application was built in Unity for Meta Quest 3, with backend services hosted on AWS. A pilot evaluation at the University of Exeter with 23 participants returned 95.6% speech recognition accuracy, 78.3% overall user satisfaction, and 91.3% favourable ratings for system responsiveness, with feedback informing subsequent improvements to motion comfort, audio clarity, and text legibility. XR-CareerAssist demonstrates how the fusion of XR and AI can produce more engaging, accessible, and effective career development tools, with the integration of five AI modules within a single immersive environment yielding a multimodal interaction experience that distinguishes it from existing career guidance platforms.