SpatialEdit: Benchmarking Fine-Grained Image Spatial Editing
作者: Yicheng Xiao, Wenhu Zhang, Lin Song, Yukang Chen, Wenbo Li, Nan Jiang, Tianhe Ren, Haokun Lin, Wei Huang, Haoyang Huang, Xiu Li, Nan Duan, Xiaojuan Qi
分类: cs.CV
发布日期: 2026-04-07
💡 一句话要点
提出SpatialEdit-Bench，用于评估图像空间编辑的几何保真度和感知合理性。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 图像空间编辑 基准测试 合成数据集 几何保真度 感知合理性 视角重建 构图分析
📋 核心要点
- 现有图像空间编辑模型难以进行精细的空间操作，缺乏有效的评估方法。
- 构建了SpatialEdit-Bench基准，通过联合评估感知合理性和几何保真度来衡量空间编辑效果。
- 提出了SpatialEdit-16B模型，并在SpatialEdit-500k数据集上训练，在空间操作任务上显著优于现有方法。
📝 摘要（中文）
图像空间编辑执行几何驱动的变换，从而能够精确控制对象布局和相机视角。当前的模型在精细的空间操作方面存在不足，因此需要一个专门的评估套件。本文的贡献包括：(i) 引入SpatialEdit-Bench，一个完整的基准，通过视角重建和构图分析联合测量感知合理性和几何保真度来评估空间编辑。(ii) 为了解决可扩展训练的数据瓶颈，构建了SpatialEdit-500k，一个合成数据集，使用可控的Blender流程生成，该流程在不同的背景和系统的相机轨迹上渲染对象，为对象和相机中心的操作提供精确的ground-truth变换。(iii) 在此数据的基础上，开发了SpatialEdit-16B，一个用于精细空间编辑的基线模型。我们的方法在通用编辑方面取得了有竞争力的性能，同时在空间操作任务上大大优于先前的方法。所有资源都将公开。
🔬 方法详解
问题定义：图像空间编辑旨在通过几何变换精确控制图像中对象的位置和相机视角。现有方法在处理精细的空间操作时能力不足，难以生成既符合感知合理性又保持几何保真度的编辑结果。此外，缺乏专门的评估基准来衡量空间编辑的性能，阻碍了相关研究的进展。
核心思路：论文的核心思路是构建一个全面的基准测试集（SpatialEdit-Bench）和一个大规模合成数据集（SpatialEdit-500k），并在此基础上训练一个基线模型（SpatialEdit-16B）。通过合成数据提供精确的ground-truth变换信息，并设计评估指标来衡量感知合理性和几何保真度，从而推动精细图像空间编辑的研究。
技术框架：整体框架包括三个主要部分：1) SpatialEdit-Bench基准测试集，用于评估空间编辑模型的性能；2) SpatialEdit-500k合成数据集，用于训练空间编辑模型；3) SpatialEdit-16B基线模型，用于展示在所提出的数据集和基准上的性能。SpatialEdit-Bench包含视角重建和构图分析两个评估模块，分别衡量几何保真度和感知合理性。SpatialEdit-500k使用Blender渲染引擎生成，包含对象和相机中心的操作。SpatialEdit-16B是一个基于Transformer的模型，用于学习图像空间编辑的变换。
关键创新：论文的关键创新在于构建了一个完整的基准测试集SpatialEdit-Bench，该基准能够同时评估空间编辑的感知合理性和几何保真度。此外，论文还提出了一个大规模合成数据集SpatialEdit-500k，该数据集提供了精确的ground-truth变换信息，为训练空间编辑模型提供了充足的数据。与现有方法相比，该论文的方法更加关注精细的空间操作，并提出了相应的评估指标。
关键设计：SpatialEdit-500k数据集使用Blender渲染引擎生成，包含不同的背景和相机轨迹，以及对象和相机中心的操作。SpatialEdit-Bench基准测试集包含视角重建和构图分析两个评估模块，分别使用不同的指标来衡量几何保真度和感知合理性。SpatialEdit-16B模型采用Transformer架构，并使用特定的损失函数来优化模型的性能。具体的参数设置和网络结构细节在论文中有详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
SpatialEdit-16B模型在SpatialEdit-Bench基准测试集上取得了优异的性能，尤其是在空间操作任务上，显著优于现有的图像编辑模型。具体性能数据和提升幅度在论文中有详细描述（未知）。该结果表明，所提出的数据集和基准能够有效地评估和提升图像空间编辑的性能。
🎯 应用场景
该研究成果可应用于图像编辑、虚拟现实、增强现实、机器人导航等领域。例如，可以用于创建逼真的虚拟场景，实现精确的对象操控，或者帮助机器人理解和操作周围环境。未来，该研究可以进一步扩展到视频空间编辑，以及更复杂的场景和对象。
📄 摘要（原文）
Image spatial editing performs geometry-driven transformations, allowing precise control over object layout and camera viewpoints. Current models are insufficient for fine-grained spatial manipulations, motivating a dedicated assessment suite. Our contributions are listed: (i) We introduce SpatialEdit-Bench, a complete benchmark that evaluates spatial editing by jointly measuring perceptual plausibility and geometric fidelity via viewpoint reconstruction and framing analysis. (ii) To address the data bottleneck for scalable training, we construct SpatialEdit-500k, a synthetic dataset generated with a controllable Blender pipeline that renders objects across diverse backgrounds and systematic camera trajectories, providing precise ground-truth transformations for both object- and camera-centric operations. (iii) Building on this data, we develop SpatialEdit-16B, a baseline model for fine-grained spatial editing. Our method achieves competitive performance on general editing while substantially outperforming prior methods on spatial manipulation tasks. All resources will be made public atthis https URL.