Immersive Multimedia Communication: State-of-the-Art on eXtended Reality Streaming

📄 arXiv: 2506.10004v1 📥 PDF

作者: Haopeng Wang, Haiwei Dong, Abdulmotaleb El Saddik

分类: cs.MM, cs.AI, cs.ET, cs.NI

发布日期: 2025-03-27

备注: accepted by ACM Transactions on Multimedia Computing, Communications, and Applications

DOI: 10.1145/3721292

💡 一句话要点

综述扩展现实流媒体技术，分析XR流量特征与用户体验优化方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩展现实 XR流媒体 视觉注意力 用户体验 多模态交互

📋 核心要点

  1. 现有XR流媒体面临数据传输需求高、用户体验难以保证等挑战。
  2. 本文核心在于分析XR流量特性，并探索基于视觉注意力的优化方法，提升流媒体效率。
  3. 通过分析影响用户体验的关键因素，为XR系统设计提供指导，促进用户满意度提升。

📝 摘要（中文）

扩展现实(XR)技术正在迅速发展，并有望彻底改变内容创作和消费方式。在XR中，用户整合各种感官输入，形成对虚拟环境的连贯感知。本综述回顾了XR流媒体的最新技术，重点关注多种范例。首先，我们定义了XR，并介绍了各种XR头显及其多模态交互方法，以提供基础理解。然后，我们分析了XR流量特征，以突出独特的数据传输需求。我们还探讨了影响XR系统中体验质量的因素，旨在识别增强用户满意度的关键要素。接下来，我们介绍了基于视觉注意力的XR流媒体优化方法，以提高效率和性能。最后，我们考察了当前的应用，并强调了挑战，以深入了解XR的持续和未来发展。

🔬 方法详解

问题定义：现有XR流媒体技术面临着高带宽需求、低延迟要求以及用户体验优化等问题。传统的流媒体技术难以满足XR应用对沉浸感和交互性的需求，尤其是在无线环境下，网络拥塞和设备性能限制会严重影响用户体验。此外，如何根据用户的视觉感知特性进行优化，减少不必要的资源消耗，也是一个重要的挑战。

核心思路：本文的核心思路是深入分析XR流量的特性，包括其多模态、高动态范围和空间相关性等特点，并结合用户的视觉注意力机制，对XR流媒体进行优化。通过减少冗余数据的传输，提高编码效率，并根据用户的关注区域动态调整流媒体质量，从而在有限的带宽和计算资源下，提升用户体验。

技术框架：本文首先定义了XR，并介绍了各种XR头显及其多模态交互方法。然后，分析了XR流量特征，包括其高带宽需求、低延迟要求以及多模态数据融合等特点。接着，探讨了影响XR系统中体验质量的因素，例如分辨率、帧率、延迟和交互性等。随后，介绍了基于视觉注意力的XR流媒体优化方法，包括视线追踪、显著性检测和自适应编码等技术。最后，考察了当前的应用，并强调了挑战。

关键创新：本文的关键创新在于将视觉注意力机制引入到XR流媒体优化中。通过视线追踪技术获取用户的关注区域，并根据关注区域的优先级动态调整流媒体的质量。这种方法可以有效地减少冗余数据的传输，提高编码效率，并在有限的带宽和计算资源下，提升用户体验。

关键设计：在基于视觉注意力的XR流媒体优化中，关键的设计包括：1）视线追踪技术的选择和精度；2）显著性检测算法的准确性和效率；3）自适应编码策略的设计，例如如何根据关注区域的优先级调整编码参数；4）网络传输协议的优化，例如如何减少延迟和丢包率；5）用户体验评估指标的选择和测量方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

本文重点分析了基于视觉注意力的XR流媒体优化方法，旨在提高效率和性能。通过视线追踪和显著性检测等技术，可以根据用户的关注区域动态调整流媒体质量，从而在有限的带宽和计算资源下，提升用户体验。具体的性能数据和对比基线需要在实际实验中进行验证。

🎯 应用场景

该研究成果可应用于各种XR应用场景，如虚拟现实游戏、远程协作、教育培训、医疗诊断等。通过优化XR流媒体技术，可以提升用户在虚拟环境中的沉浸感和交互体验，从而提高工作效率、学习效果和娱乐体验。未来，随着5G和边缘计算等技术的发展，XR流媒体的应用前景将更加广阔。

📄 摘要（原文）

Extended reality (XR) is rapidly advancing, and poised to revolutionize content creation and consumption. In XR, users integrate various sensory inputs to form a cohesive perception of the virtual environment. This survey reviews the state-of-the-art in XR streaming, focusing on multiple paradigms. To begin, we define XR and introduce various XR headsets along with their multimodal interaction methods to provide a foundational understanding. We then analyze XR traffic characteristics to highlight the unique data transmission requirements. We also explore factors that influence the quality of experience in XR systems, aiming to identify key elements for enhancing user satisfaction. Following this, we present visual attention-based optimization methods for XR streaming to improve efficiency and performance. Finally, we examine current applications and highlight challenges to provide insights into ongoing and future developments of XR.