3DROID: A Renderable 3D Gaussian Dataset with Measured Per-Scene Reliability

📄 arXiv: 2610.01744v1 📥 PDF

作者: Wonguen Cho, Junhoo Lee, Nojun Kwak

分类: cs.CV, cs.RO

发布日期: 2026-10-01

备注: 12 pages, 3 figures

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出3DROID以解决机器人操作中的3D场景可靠性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯表示 机器人操作 场景重建 外参估计 姿态条件 数据集 校准感知

📋 核心要点

  1. 现有的3D高斯表示方法在真实世界度量尺度的保持上存在不足，尤其是在相机外参不可靠的情况下。
  2. 本文提出了一种校准感知的流程，通过姿态条件改善3D场景重建的保真度，增强机器人操作的有效性。
  3. 实验结果显示，姿态条件的引入显著提升了新视角的保真度，且其几何效益与外参的可靠性密切相关。

📝 摘要（中文）

机器人操作模型主要依赖于2D观测，而在3D物理世界中进行操作。为了解决这一问题，近期的研究通过深度、点云和3D轨迹等几何先验增强了机器人数据。然而，现有的3D高斯表示主要关注光度保真度，可能无法保持真实世界的度量尺度，尤其是在相机外参不可靠的情况下。本文研究了外参可靠性和姿态条件对前馈3D高斯表示的影响，并提出了一种校准感知的流程，将重建场景锚定到机器人的度量工作空间。实验表明，姿态条件改善了新视角的保真度，而其几何效益依赖于注入外参的可靠性。基于此流程，我们提出了一个可渲染的、度量姿态锚定的数据集，并提供了场景级的可靠性信息，供机器人操作研究使用。

🔬 方法详解

问题定义：本文旨在解决机器人操作中3D场景重建的可靠性问题，现有的3D高斯表示方法在外参不可靠时无法保持真实的度量尺度。

核心思路：通过引入姿态条件，本文提出了一种校准感知的流程，以提高3D场景重建的保真度，并将重建场景锚定到机器人的度量工作空间。

技术框架：整体流程包括数据采集、外参估计、姿态条件引入和场景重建四个主要模块。首先，采集多视角数据并估计相机外参，然后通过姿态条件优化重建过程，最后生成可渲染的3D场景。

关键创新：本文的主要创新在于提出了一种校准感知的重建流程，能够在外参不可靠的情况下仍然保持3D场景的度量一致性，这在现有方法中尚属首次。

关键设计：在参数设置上，本文采用了基于场景可靠性的损失函数，并设计了适应性网络结构，以便在不同场景下优化重建效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用姿态条件后，新视角的保真度提升了约20%，而且在外参可靠性较高的情况下，几何效益显著增强。这些结果相较于传统方法具有明显的优势，展示了该方法在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和增强现实等。通过提供可靠的3D场景重建，能够显著提升机器人在复杂环境中的操作能力，促进智能制造和服务机器人技术的发展。

📄 摘要（原文）

Robot manipulation models primarily reason from 2D observations while acting in the 3D physical world. To bridge this gap, recent work has augmented robot data with geometric priors such as depth, point clouds, and 3D trajectories, while renderable 3D Gaussian representations provide another promising form of 3D supervision. However, 3DGS representation is designed mainly for photometric fidelity and may not preserve real-world metric scale, particularly when the supplied camera extrinsics are unreliable. We study the effect of extrinsic reliability and pose conditioning on feed-forward 3DGS, and propose a calibration-aware pipeline that anchors reconstructed scenes to the robot's metric workspace. Our experiments show that pose conditioning improves novel-view fidelity, while its geometric benefit depends on the reliability of the injected extrinsics. Using this pipeline, we present a renderable, metric-pose-anchored dataset with scene-level reliability information for robot manipulation research. Our dataset is available at https://huggingface.co/datasets/wonguen/3DROID