Tele360: Real-Time Feed-Forward Human Reconstruction from Sparse Unposed Cameras
作者: Hanzhang Tu, Zhanfeng Liao, Wei Min, Jiajun Zhang, Yebin Liu
分类: cs.CV
发布日期: 2026-09-14
💡 一句话要点
提出Tele360以解决实时动态人类重建问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态人类重建 实时可视化 多视图变换器 高斯表示 计算机视觉 虚拟现实 增强现实
📋 核心要点
- 现有方法通常需要高计算成本或校准相机，难以实现实时高分辨率的人类重建。
- 本文提出Tele360系统，通过轻量级变换器网络和高斯解码器实现动态人类重建，支持实时可视化。
- 实验结果显示，Tele360在视觉质量上达到最先进水平，并在消费级GPU上实现超过25FPS的实时渲染。
📝 摘要（中文）
实时的自由视角可视化对于沉浸式沟通和互动数字体验至关重要。现有方法通常依赖于计算开销大的优化过程，或需要经过校准的相机和低分辨率输入，导致实时高分辨率部署不切实际。本文提出了Tele360，这是第一个从稀疏、未定姿态的RGB流中实现动态人类重建和实时自由视角可视化的前馈系统。我们的系统在单次前向传递中联合估计相机姿态，并为每个时间实例重建动态3D高斯表示。通过设计轻量级的稀疏感知多视图变换器骨干网络，我们能够在保留全局上下文的同时对前景人类区域进行标记。我们还引入了全变换器基础的高斯解码器，以减轻卷积引起的过平滑，同时保持解码的稀疏性和高效性。实验结果表明，Tele360在工作室基准上实现了最先进的视觉质量，并在单个消费级GPU上支持实时2K输入到渲染超过25帧每秒的性能。
🔬 方法详解
问题定义：本文旨在解决从稀疏、未定姿态的相机流中实时重建动态人类模型的问题。现有方法在计算效率和输入要求上存在显著不足，限制了其在实时应用中的可行性。
核心思路：论文提出的核心思路是设计一个轻量级的多视图变换器骨干网络，能够在单次前向传递中同时估计相机姿态和重建3D高斯表示，从而实现高效的动态重建。
技术框架：系统整体架构包括多个模块：首先是稀疏感知的多视图变换器，用于标记前景区域；其次是高斯解码器，负责将特征解码为3D表示；最后是相机精炼层，增强多视图一致性。
关键创新：最重要的创新点在于引入了轻量级的变换器网络和高斯解码器，克服了传统卷积网络的过平滑问题，同时实现了稀疏高效的解码过程。
关键设计：在设计中，采用了多尺度特征金字塔来注入外观线索，并引入了可微分的Levenberg-Marquardt相机精炼层，以提高几何对齐的精度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Tele360在工作室基准测试中实现了最先进的视觉质量，支持实时2K输入到渲染超过25帧每秒的性能，显著提升了动态人类重建的效率和质量。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和远程协作等场景，能够为用户提供沉浸式的互动体验。随着技术的进步，Tele360有望在数字娱乐、在线教育和医疗等多个领域发挥重要作用。
📄 摘要（原文）
Live free-viewpoint visualization of real humans is critical for immersive communication and interactive digital experiences. Existing methods either rely on computationally expensive optimization or require calibrated cameras and low-resolution inputs, making real-time high-resolution deployment impractical. In this work, we present Tele360, the first real-time feed-forward system for dynamic human reconstruction and live free-viewpoint visualization from sparse, unposed RGB streams. Our system jointly estimates camera poses and reconstructs a dynamic 3D Gaussian representation for each time instance in a single forward pass. To achieve this, we start by designing a lightweight sparsity-aware multi-view transformer backbone that tokenizes foreground human regions while preserving global context through a shared scene token. We then employ a fully transformer-based Gaussian decoder to mitigate convolution-induced over-smoothing while keeping decoding sparse and efficient. In addition, we introduce a hybrid feature pyramid that injects multi-scale appearance cues into geometry prediction. We further introduce a lightweight differentiable Levenberg-Marquardt camera refinement layer to enhance multi-view consistency and geometric alignment. Moreover, to stabilize learning under sparse, unposed inputs, we transfer multi-view geometry priors from a large visual-geometry foundation model via teacher-student distillation. Finally, the predicted Gaussian maps are streamed with video codecs to remote devices for interactive free-viewpoint rendering. Extensive experiments show that Tele360 achieves state-of-the-art visual quality on studio benchmarks while supporting real-time 2K input-to-rendering at over 25 FPS on a single consumer GPU. Additional captured sequences illustrate its performance across varied subjects, clothing, and motions under our multi-camera setup.