PhyEdit: Towards Real-World Object Manipulation via Physically-Grounded Image Editing

📄 arXiv: 2604.07230v1 📥 PDF

作者: Ruihang Xu, Dewei Zhou, Xiaolong Shen, Fan Ma, Yi Yang

分类: cs.CV

发布日期: 2026-04-08

💡 一句话要点

PhyEdit：通过物理约束的图像编辑实现真实世界物体操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 图像编辑 3D几何 物理模拟 深度估计 数据集 基准测试

📋 核心要点

  1. 现有图像编辑模型缺乏对3D几何和透视投影的显式建模，导致物体操作时出现不准确的缩放和定位。
  2. PhyEdit利用显式的几何模拟作为3D感知的视觉指导，并结合2D-3D联合监督，从而提升物理精度和操作一致性。
  3. 论文提出了RealManip-10K数据集和ManipEval基准，实验表明PhyEdit在3D几何精度和操作一致性上优于现有方法。

📝 摘要（中文）

在图像编辑中实现物理上精确的物体操作对于交互式世界模型的潜在应用至关重要。然而，现有的视觉生成模型通常在精确的空间操作方面表现不佳，导致物体缩放和定位不正确。这种局限性主要源于缺乏明确的机制来结合3D几何和透视投影。为了实现精确的操作，我们开发了PhyEdit，一个图像编辑框架，它利用显式的几何模拟作为上下文相关的3D感知视觉指导。通过将这种即插即用的3D先验与联合2D-3D监督相结合，我们的方法有效地提高了物理精度和操作一致性。为了支持这种方法并评估性能，我们提出了一个真实世界数据集RealManip-10K，用于3D感知物体操作，其中包含配对图像和深度注释。我们还提出了ManipEval，一个包含多维度指标的基准，用于评估3D空间控制和几何一致性。大量的实验表明，我们的方法在3D几何精度和操作一致性方面优于现有方法，包括强大的闭源模型。

🔬 方法详解

问题定义：现有图像编辑方法在进行物体操作时，缺乏对3D几何和透视投影的建模，导致操作后的图像在物理上不准确，例如物体大小比例失真、位置不合理等。这限制了图像编辑在交互式世界模型等领域的应用。现有方法难以保证操作的几何一致性和物理真实性。

核心思路：PhyEdit的核心思路是将显式的3D几何模拟引入图像编辑流程中，作为视觉指导。通过模拟真实世界的物理规律，约束图像编辑过程，从而保证操作的物理合理性。利用3D先验知识来指导2D图像的生成和编辑，从而克服现有方法对2D图像的过度依赖。

技术框架：PhyEdit采用一个即插即用的框架，可以与现有的图像编辑模型相结合。整体流程包括：1) 输入原始图像和用户指定的物体操作；2) 利用深度估计等技术获取图像的3D信息；3) 通过几何模拟模块，预测操作后的3D场景；4) 将预测的3D场景作为视觉指导，输入图像编辑模型，生成最终的编辑图像。框架的关键在于将3D几何信息有效地融入到2D图像编辑过程中。

关键创新：PhyEdit的关键创新在于显式地利用3D几何模拟来指导图像编辑。与现有方法相比，PhyEdit不是直接在2D图像空间进行操作，而是先在3D空间进行模拟，然后将模拟结果反投影到2D图像空间。这种方法能够更好地保证操作的物理合理性和几何一致性。此外，论文还提出了RealManip-10K数据集和ManipEval基准，为3D感知图像编辑的研究提供了支持。

关键设计：PhyEdit的关键设计包括：1) 使用深度估计网络获取图像的深度信息；2) 设计几何模拟模块，模拟物体操作后的3D场景变化；3) 使用联合2D-3D监督，同时约束2D图像的生成和3D场景的预测；4) 设计ManipEval基准，包含多维度指标，用于评估3D空间控制和几何一致性。损失函数的设计需要平衡2D图像的真实性和3D场景的物理合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PhyEdit在RealManip-10K数据集上显著优于现有方法，包括一些强大的闭源模型。在3D几何精度方面，PhyEdit的指标提升了XX%。在操作一致性方面，PhyEdit也取得了显著的提升。这些结果表明，PhyEdit能够有效地提高图像编辑的物理合理性和几何一致性。

🎯 应用场景

PhyEdit在交互式世界模型、虚拟现实/增强现实内容创作、机器人操作等领域具有广泛的应用前景。例如，用户可以在图像中交互式地移动物体，并生成物理上合理的图像，从而创建逼真的虚拟场景。该技术还可以用于机器人操作的模拟和训练，提高机器人在真实世界中的操作能力。未来，PhyEdit有望成为一种通用的图像编辑工具，帮助用户轻松创建高质量的图像内容。

📄 摘要（原文）

Achieving physically accurate object manipulation in image editing is essential for its potential applications in interactive world models. However, existing visual generative models often fail at precise spatial manipulation, resulting in incorrect scaling and positioning of objects. This limitation primarily stems from the lack of explicit mechanisms to incorporate 3D geometry and perspective projection. To achieve accurate manipulation, we develop PhyEdit, an image editing framework that leverages explicit geometric simulation as contextual 3D-aware visual guidance. By combining this plug-and-play 3D prior with joint 2D--3D supervision, our method effectively improves physical accuracy and manipulation consistency. To support this method and evaluate performance, we present a real-world dataset, RealManip-10K, for 3D-aware object manipulation featuring paired images and depth annotations. We also propose ManipEval, a benchmark with multi-dimensional metrics to evaluate 3D spatial control and geometric consistency. Extensive experiments show that our approach outperforms existing methods, including strong closed-source models, in both 3D geometric accuracy and manipulation consistency.