DELUGE: Decomposed Entropy-coded Live Unstructured Geometry Exchange for Real-time Particle Streaming
作者: Hikari Yanagawa, Yuichi Hiroi, Takefumi Hiraki
分类: cs.GR, cs.HC, cs.IT
发布日期: 2026-09-17
备注: 11 pages + supplement 3 pages. Accepted for publication in IEEE Transactions on Visualization and Computer Graphics (TVCG), to be presented at IEEE ISMAR 2026
💡 一句话要点
提出DELUGE以解决实时粒子流传输中的编码延迟问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 粒子流传输 实时编码 物理模拟 虚拟现实 增强现实 数据压缩 动态点云 协作体验
📋 核心要点
- 现有的点云压缩方法在动态粒子流传输中编码延迟过高，无法满足实时交付需求。
- DELUGE通过利用物理模拟粒子的时间一致性和速度可预测性，实现了低延迟的流媒体压缩。
- 实验表明，DELUGE在解码速度上比G-PCC快约20倍，比Draco快6倍，支持实时协作体验。
📝 摘要（中文）
粒子基础的物理模拟（如流体、烟雾和颗粒介质）在沉浸式虚拟现实和增强现实中至关重要。随着社交虚拟现实和数字双胞胎的日益普及，对多个用户实时交互的共享体验的需求不断增加。然而，现有的点云压缩方法在动态粒子流传输中存在编码延迟过高的问题。为此，本文提出了DELUGE，一种利用物理模拟粒子固有的时间一致性和速度可预测性的新型流媒体压缩架构，通过三种互补技术实现了亚帧延迟的编码和解码。实验结果表明，DELUGE的解码速度比G-PCC快约20倍，比Draco快6倍，并在实际应用中支持实时协作体验。
🔬 方法详解
问题定义：本文旨在解决动态粒子流传输中的高编码延迟问题。现有的点云压缩方法如G-PCC和Draco在处理动态数据时，编码延迟超过帧周期，无法满足实时交互的需求。
核心思路：DELUGE的核心思路是利用物理模拟粒子固有的时间一致性和速度可预测性，通过三种互补技术实现低延迟的编码和解码。这种设计使得在动态场景下也能高效传输粒子数据。
技术框架：DELUGE的整体架构包括数据采集、编码、传输和解码四个主要模块。首先，系统捕获粒子数据，然后通过特定的编码算法进行压缩，接着将数据实时传输到客户端，最后在客户端进行解码以供实时渲染。
关键创新：DELUGE的主要创新在于其针对动态粒子流的专门设计，利用时间一致性和速度预测性来优化编码过程。这与传统方法的静态假设形成了本质区别，显著提高了实时性能。
关键设计：在DELUGE中，采用了特定的参数设置和损失函数，以确保在压缩过程中尽可能保留粒子数据的细节。此外，网络结构经过优化，以支持快速的编码和解码过程，确保低延迟传输。
🖼️ 关键图片
📊 实验亮点
DELUGE在动态点云数据集上的实验结果显示，其解码速度比G-PCC快约20倍，编码速度比Draco快6倍，显著提升了实时粒子流传输的性能。此外，通过在Apple Vision Pro上的实际应用验证了其支持实时协作体验的能力。
🎯 应用场景
DELUGE的研究成果在虚拟现实和增强现实领域具有广泛的应用潜力，特别是在需要多个用户实时交互的场景中，如社交VR、在线游戏和数字双胞胎等。通过实现低延迟的粒子数据传输，DELUGE能够提升用户体验，促进更真实的沉浸式互动。未来，该技术还可能扩展到其他需要实时数据流的应用场景，如远程协作和实时监控等。
📄 摘要（原文）
Particle-based physics simulations, including fluids, smoke, and granular media, are fundamental to visual realism in immersive VR and AR. With the growing adoption of social VR and digital twins, demand is increasing for shared experiences in which multiple users interact with the same simulation in real time. Realizing such experiences requires low-latency streaming of large-scale particle data from a server to each client, yet existing point cloud compression methods such as G-PCC (TMC13) and Draco assume static geometric structures; when applied to dynamic particle streaming, their encoding latency exceeds the frame period, failing to meet real-time delivery requirements. We propose DELUGE, a streaming compression architecture that exploits the temporal coherence and velocity predictability inherent in physics simulation particles, achieving sub-frame-latency encoding and decoding through three complementary techniques. Evaluation on dynamic point cloud datasets demonstrates that DELUGE achieves approximately $20\times$ faster decoding than G-PCC (TMC13) and $6\times$ faster encoding than Draco. We further build end-to-end client implementations for both web browsers and Apple Vision Pro, and confirm through a within-participants perceptual quality evaluation and a two-person collaborative task study on Vision Pro that the proposed method supports real-time collaborative experiences with hand-tracked fluid interaction.