SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images

📄 arXiv: 2610.28585v1 📥 PDF

作者: Rundong Luo, Yunong Liu, Di Cao, Matthew Tancik, Shyamal Buch, Colton Stearns, Wenqi Xian

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-20

备注: Accepted at CoRL 2026 Agentic Robotics Workshop. Project page: https://red-fairy.github.io/SceneRig/

💡 一句话要点

提出SceneRig以解决单图像3D场景重建问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景重建 物理模拟 机器人技术 实例分割 视觉计算 智能系统

📋 核心要点

  1. 现有方法在单图像重建3D场景时，常常无法准确放置物体，导致生成的场景在物理交互中表现不佳。
  2. SceneRig通过结合几何、视觉和物理工具，重建可编辑的3D场景，并在物理模拟器中进行验证以确保物理稳定性。
  3. 实验结果显示，SceneRig在实例分割和物体外观方面显著提升，并且在真实机器人策略预测中表现优于基线方法。

📝 摘要（中文）

模拟是机器人技术中的重要工具，但大规模构建多样化的模拟场景仍然困难。单图像重建场景是一种有前景的替代方案，但仅依靠视觉相似性不足，物体必须被准确恢复、放置并物理固定。现有方法依赖于后处理物理稳定，常常导致物体位置错误，生成的场景在外观上正确但在操作时表现不佳。本文提出SceneRig，一个将单图像转化为可编辑的模拟准备场景的智能系统。SceneRig结合几何、视觉和物理工具，重建真实的3D场景，并通过在物理模拟器中进行编辑和验证循环，实现物理稳定性。实验表明，SceneRig在实例分割、物体外观和3D放置方面均有显著提升，同时保持重建场景的物理稳定性。

🔬 方法详解

问题定义：本文旨在解决从单图像重建3D场景时物体放置不准确的问题。现有方法依赖后处理物理稳定，常导致物体位置错误，影响场景的实际操作性能。

核心思路：SceneRig的核心思路是将几何、视觉和物理工具结合，重建一个可编辑的3D场景，并通过在物理模拟器中进行循环验证，确保物理稳定性。这样的设计使得重建的场景不仅在视觉上真实，也在物理交互中表现良好。

技术框架：SceneRig的整体架构包括三个主要模块：首先是场景重建模块，利用几何和视觉信息生成初步的3D场景；其次是编辑与验证模块，通过物理模拟器进行多次编辑和验证以达到物理稳定；最后是输出模块，生成最终的可编辑场景。

关键创新：SceneRig的最大创新在于其将物理稳定性纳入重建过程，而非后处理。这一方法使得生成的场景在物理交互中表现更为可靠，显著提升了场景的实用性。

关键设计：在技术细节上，SceneRig采用了特定的损失函数来平衡视觉相似性与物理稳定性，并设计了适应性强的网络结构，以便在不同场景中进行有效的重建和编辑。具体参数设置和网络架构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SceneRig在实例分割和物体外观方面的性能提升显著，且在真实机器人策略预测中，其准确性超过基线方法，支持更可靠的操作重放，提升了场景的实用性和稳定性。

🎯 应用场景

SceneRig的研究成果在机器人技术、虚拟现实和游戏开发等领域具有广泛的应用潜力。通过提供高质量的模拟场景，能够有效支持机器人策略学习和测试，提升虚拟环境的真实感和交互性，推动相关技术的发展。

📄 摘要（原文）

Simulation is a powerful tool for robotics, but building diverse, simulation-ready scenes at scale remains difficult. Reconstructing scenes from single images is a promising alternative, but visual similarity alone is insufficient: objects must also be recovered, accurately placed, and physically grounded. Existing methods that rely on post-hoc physics settling often misplace objects, producing scenes that look correct but behave poorly under manipulation. We present SceneRig, an agentic system that turns a single image into an editable, simulation-ready scene. SceneRig combines geometric, visual, and physical tools to reconstruct a faithful 3D scene. An agent then performs edit-and-validate loops inside a physics simulator to achieve physical stability. Across diverse inputs, SceneRig improves instance segmentation, object-centric appearance, and 3D placement while keeping the reconstructed scenes physically stable. Furthermore, SceneRig is effective for downstream robotics: its scenes predict real-robot policy outcomes more accurately than the baseline method and more reliably support replay of recorded manipulations without trajectory adaptation.