RenderBench: Benchmarking Render-to-Real Video Transfer with Reconstructed Digital Twins
作者: Dicong Qiu, Zhiyuan Xu, Yaosheng Liu, Feng Han, Bo Ye
分类: cs.CV
发布日期: 2026-10-06
备注: 10 pages, 4 figures, 2 tables
💡 一句话要点
提出RenderBench以解决渲染到真实视频转移评估问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 渲染到真实 视频转移 数字双胞胎 场景重建 计算机视觉 神经重建 基准评估
📋 核心要点
- 现有方法在渲染到真实视频转移的评估中面临数据获取困难，传统方法需要大量手动建模和校准。
- 论文提出RenderBench基准，通过结合视觉几何、神经重建和辅助3D创作，简化了真实场景的重建过程。
- 实验结果显示，RenderBench成功构建了12个场景，包含1496对真实-代理帧，且所有场景通过了完整性和环境编辑审核。
📝 摘要（中文）
现代视频模型能够根据真实外观参考和代理渲染生成逼真的视频。评估这种渲染到真实的能力需要真实目标视频和可编辑的几何注册3D复制品。我们引入RenderBench，一个包含12个重建真实场景的基准，涵盖大规模室内环境和自我中心视角，包含静态和动态设置。我们的构建管道结合了视觉几何、神经重建和辅助3D创作。每个场景被分解为静态物体和动态角色，并经过多视角几何和时间验证。每个评估单元包含外观参考图像、真实目标视频、可编辑数字双胞胎、匹配的代理渲染和场景注释。RenderBench为评估外观保真度及几何和动态的保持提供了配对的真实观察和可编辑场景状态。
🔬 方法详解
问题定义：论文要解决的具体问题是如何有效评估渲染到真实视频转移的能力。现有方法依赖于大量手动建模和校准，导致数据获取困难，限制了评估的广泛性和准确性。
核心思路：论文的核心解决思路是构建一个包含真实场景的基准数据集RenderBench，通过结合视觉几何、神经重建和辅助3D创作，自动化生成可用于评估的真实目标视频和数字双胞胎。
技术框架：整体架构包括数据采集、场景重建和评估三个主要阶段。首先，通过多视角捕捉获取场景数据，然后利用神经网络进行几何重建，最后生成可编辑的数字双胞胎和代理渲染。
关键创新：最重要的技术创新点在于引入了自动化的场景重建流程，显著减少了手动建模的需求，并通过多视角验证确保了数据的准确性和一致性。
关键设计：在参数设置上，使用了多视角几何验证和时间一致性检查，损失函数设计上考虑了外观保真度和几何准确性，网络结构采用了先进的神经重建模型以提高重建质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RenderBench成功构建了12个注册样本，保留率达到85.7%，共计1496对真实-代理帧。代理诊断显示深度si-RMSE为0.2170，实例mIoU为0.3673，验证了该基准的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、虚拟现实和增强现实等。RenderBench为评估渲染模型的性能提供了标准化的数据集，能够帮助研究人员和开发者更好地理解和改进渲染到真实的技术，推动相关领域的发展。
📄 摘要（原文）
Modern video models can generate realistic videos from real appearance references and proxy renders that specify scene structure, viewpoint changes, and motion. Evaluating this render-to-real capability requires a real target video depicting the same scene evolution, paired with an editable, geometrically registered 3D replica. Such data has traditionally required substantial manual modeling, calibration, and animation effort. We introduce RenderBench, a benchmark of 12 reconstructed real-world scenes spanning large-scale indoor environments and egocentric viewpoints, with both static and dynamic settings. Our construction pipeline combines visual geometry, neural reconstruction, and assisted 3D authoring. Each scene is decomposed into static objects and dynamic actors, registered to the capture cameras, and accepted only after multi-view geometric and temporal validation. Each evaluation unit contains appearance reference images, a held-out real target video, an editable digital twin, a matched proxy render, and renderer-native scene annotations. We evaluate transfer models against paired real target videos, retain PAI-Bench-C-compatible structural projections, and use scene annotations to localize failures by object, visibility, articulation, and motion. The first release retains 12 of 14 registered samples (85.7%), comprising 1,496 paired real-proxy frames. All released scenes pass file-integrity and environment-edit audits, while proxy diagnostics yield a depth si-RMSE of 0.2170 and instance mIoU of 0.3673. RenderBench provides paired real observations and editable scene state for assessing both appearance fidelity and preservation of geometry and dynamics.