DHR+S: Distributed Hybrid Rendering with Realistic Real-time Shadows for Interactive Thin Client Metaverse and Game Applications

📄 arXiv: 2406.06963v1 📥 PDF

作者: Yu Wei Tan, Siang Ern Low, Jonas Chow, Javon Teo, Anand Bhojan

分类: cs.GR

发布日期: 2024-06-11

DOI: 10.1007/s00371-024-03501-4

💡 一句话要点

提出DHR+S，通过分布式混合渲染实现交互式瘦客户端元宇宙和游戏应用的实时逼真阴影

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 分布式渲染 混合渲染 射线追踪 实时阴影 瘦客户端

📋 核心要点

  1. 现有瘦客户端在元宇宙和游戏应用中难以实现高质量实时阴影渲染，尤其是在网络条件不佳时。
  2. DHR+S通过云端射线追踪生成高质量阴影，并结合本地光栅化渲染，降低带宽需求和延迟敏感性。
  3. 实验表明，DHR+S仅需20-30%的远程渲染带宽，且在200ms延迟下阴影失真很小，提升了用户体验。

📝 摘要（中文）

分布式混合渲染(DHR)是一种实时渲染方法，它结合了基于云的射线追踪和本地光栅化图形，用于交互式瘦客户端元宇宙和游戏应用。借助云的辅助，DHR可以远程生成高保真的射线追踪图形内容，并将其交付给图形能力较低的瘦客户端，包括独立的扩展现实设备和移动电话，同时在不利的网络条件下为用户保持交互式帧率。DHR已经可以实现由直接光照遮挡形成的射线追踪硬阴影效果。我们通过追踪射线的方向柔化阴影边缘，并通过使用改进的时空方差引导滤波重建射线追踪环境光遮蔽来近似间接光照的遮挡，从而增强这些阴影的真实感。我们的技术仅使用远程渲染20-30%的带宽，并且能够容忍高达200毫秒的延迟，而仅在对象边缘产生轻微的阴影失真。

🔬 方法详解

问题定义：现有瘦客户端设备，如移动电话和XR设备，图形处理能力有限，难以实时渲染高质量的阴影效果，尤其是在元宇宙和游戏等交互式应用中。传统的远程渲染方案需要大量的带宽，并且对网络延迟非常敏感，导致用户体验不佳。现有的DHR方法虽然可以生成硬阴影，但缺乏真实感，并且对间接光照的模拟不足。

核心思路：DHR+S的核心思路是将渲染任务分解为云端和本地两部分。云端负责进行计算密集型的射线追踪，生成高质量的阴影信息，包括直接光照产生的硬阴影和间接光照产生的环境光遮蔽。本地客户端则负责进行光栅化渲染，并将云端提供的阴影信息融合到最终的图像中。通过这种分布式的方式，可以减轻本地客户端的计算负担，同时保证高质量的渲染效果。

技术框架：DHR+S的整体框架包括以下几个主要模块：1) 云端射线追踪模块：负责进行射线追踪，计算直接光照和间接光照的阴影信息。2) 时空方差引导滤波模块：用于重建射线追踪环境光遮蔽，并降低噪声。3) 本地光栅化渲染模块：负责进行光栅化渲染，并将云端提供的阴影信息融合到最终的图像中。4) 网络传输模块：负责将云端生成的阴影信息传输到本地客户端。

关键创新：DHR+S的关键创新在于以下几个方面：1) 提出了一种基于时空方差引导滤波的射线追踪环境光遮蔽重建方法，可以有效地模拟间接光照的遮挡效果，提高阴影的真实感。2) 优化了网络传输策略，降低了带宽需求，并提高了对网络延迟的容忍度。3) 采用分布式混合渲染架构，充分利用了云端和本地客户端的计算资源，实现了高质量的实时阴影渲染。

关键设计：在时空方差引导滤波模块中，采用了改进的方差估计方法，可以更准确地估计像素的方差，从而提高滤波效果。在网络传输模块中，采用了压缩算法，降低了阴影信息的传输量。此外，还设计了一种自适应的帧率调整机制，可以根据网络状况动态调整帧率，保证用户体验的流畅性。

📊 实验亮点

实验结果表明，DHR+S在保证高质量阴影效果的同时，仅需20-30%的远程渲染带宽，并且能够容忍高达200毫秒的网络延迟，而仅在对象边缘产生轻微的阴影失真。与传统的远程渲染方案相比，DHR+S在带宽和延迟方面具有显著优势，能够为用户提供更流畅、更逼真的交互体验。

🎯 应用场景

DHR+S适用于对图形质量和交互性有较高要求的瘦客户端应用，如元宇宙、云游戏、远程协作设计等。它能够让低端设备也能体验到高质量的渲染效果，降低了硬件门槛，促进了这些技术的普及。未来，DHR+S有望应用于更广泛的领域，如虚拟现实、增强现实、数字孪生等。

📄 摘要（原文）

Distributed hybrid rendering (DHR) is a real-time rendering approach that incorporates cloud-based ray tracing with locally rasterized graphics for interactive thin client metaverse and game applications. With cloud assistance, DHR can generate high-fidelity ray-traced graphics contents remotely and deliver them to thin clients with low graphics capability, including standalone extended reality devices and mobile phones, while maintaining interactive frame rates for users under adverse network conditions. DHR can already achieve the effect of ray-traced hard shadows that form with the occlusion of direct illumination. We enhance the realism of these shadows by softening their edges with the direction of rays traced and approximating the occlusion of indirect illumination by reconstructing ray-traced ambient occlusion with a modified version of spatiotemporal variance-guided filtering. Our technique uses only 20-30% of the bandwidth of remote rendering and is also tolerant of delays of up to 200 ms with only slight distortion to the shadows along object edges.