From Statics to Dynamics: Physics-Aware Image Editing with Latent Transition Priors

📄 arXiv: 2602.21778v1 📥 PDF

作者: Liangbing Zhao, Le Zhuo, Sayak Paul, Hongsheng Li, Mohamed Elhoseiny

分类: cs.CV

发布日期: 2026-02-25

备注: All code, checkpoints, and datasets are available at https://liangbingzhao.github.io/statics2dynamics/

💡 一句话要点

提出PhysicEdit，通过物理状态转移先验实现物理感知图像编辑

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 图像编辑 物理感知 状态转移 扩散模型 视频数据集 视觉语言模型 物理推理

📋 核心要点

  1. 现有图像编辑方法在处理涉及复杂物理动态的场景时，难以保证编辑结果的物理合理性，这是由于缺乏对物理状态转移过程的建模。
  2. PhysicEdit的核心思想是将图像编辑视为物理状态的预测性转移，利用大规模视频数据集学习物理世界的动态变化规律。
  3. 实验结果表明，PhysicEdit在物理真实感和知识基础编辑方面均优于现有方法，并在开源模型中取得了领先地位。

📝 摘要（中文）

基于指令的图像编辑在语义对齐方面取得了显著成功，但当编辑涉及复杂的因果动态（如折射或材料变形）时，现有模型通常无法呈现物理上合理的结果。这种局限性源于将编辑视为图像对之间的离散映射，仅提供边界条件而忽略了过渡动态。为了解决这个问题，我们将物理感知编辑重新定义为预测物理状态转移，并构建了PhysicTran38K，一个大规模视频数据集，包含五个物理领域的38K个转移轨迹，通过两阶段过滤和约束感知标注流程构建。在此基础上，我们提出了PhysicEdit，一个配备文本-视觉双重思考机制的端到端框架。它结合了冻结的Qwen2.5-VL进行物理基础推理，以及可学习的转移查询，为扩散骨干网络提供时间步自适应的视觉指导。实验表明，PhysicEdit在物理真实感方面比Qwen-Image-Edit提高了5.9%，在知识基础编辑方面提高了10.1%，为开源方法树立了新的最先进水平，同时与领先的专有模型保持竞争力。

🔬 方法详解

问题定义：现有基于指令的图像编辑方法在处理涉及复杂物理动态的图像编辑任务时，例如模拟折射、材料变形等，往往难以生成物理上合理的结果。这是因为现有方法通常将图像编辑视为输入图像和输出图像之间的直接映射，忽略了中间状态的物理演变过程，缺乏对物理规律的建模。

核心思路：PhysicEdit的核心思路是将图像编辑任务重新定义为物理状态的预测性转移过程。通过学习物理世界中物体状态随时间变化的规律，模型可以更好地理解编辑指令背后的物理含义，并生成更符合物理规律的编辑结果。这种方法强调了对物理动态过程的建模，而非仅仅关注输入输出图像之间的关系。

技术框架：PhysicEdit采用端到端的框架，主要包含以下几个模块：1) Qwen2.5-VL：一个预训练的视觉语言模型，用于理解文本指令和图像内容，并进行物理基础推理。该模块被冻结，以保证物理知识的稳定性。2) Transition Queries：可学习的转移查询，用于提供时间步自适应的视觉指导。这些查询向量捕捉了物理状态转移过程中的关键信息。3) Diffusion Backbone：一个扩散模型，用于生成最终的编辑结果。转移查询作为条件输入，引导扩散模型生成符合物理规律的图像。

关键创新：PhysicEdit的关键创新在于引入了物理状态转移先验。通过大规模视频数据集PhysicTran38K的学习，模型能够学习到物理世界中物体状态随时间变化的规律，从而更好地理解编辑指令背后的物理含义，并生成更符合物理规律的编辑结果。此外，双重思考机制（文本-视觉）也提升了模型对物理世界的理解能力。

关键设计：PhysicEdit的关键设计包括：1) PhysicTran38K数据集：包含38K个物理状态转移轨迹，涵盖五个物理领域，为模型提供了丰富的物理动态学习数据。2) 时间步自适应的转移查询：允许模型根据不同的时间步调整视觉指导，从而更好地模拟物理状态的演变过程。3) 冻结的Qwen2.5-VL：保证了模型在进行物理推理时的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PhysicEdit在物理真实感方面比Qwen-Image-Edit提高了5.9%，在知识基础编辑方面提高了10.1%，并在开源方法中取得了领先地位。这些结果表明，PhysicEdit在处理涉及复杂物理动态的图像编辑任务时，具有显著的优势，能够生成更符合物理规律的编辑结果。

🎯 应用场景

PhysicEdit在图像编辑、虚拟现实、游戏开发等领域具有广泛的应用前景。它可以用于创建更逼真的虚拟场景，生成更符合物理规律的特效，以及辅助设计师进行物理相关的设计工作。例如，可以用于模拟不同光照条件下的物体折射效果，或者模拟材料在受到外力作用下的变形过程。

📄 摘要（原文）

Instruction-based image editing has achieved remarkable success in semantic alignment, yet state-of-the-art models frequently fail to render physically plausible results when editing involves complex causal dynamics, such as refraction or material deformation. We attribute this limitation to the dominant paradigm that treats editing as a discrete mapping between image pairs, which provides only boundary conditions and leaves transition dynamics underspecified. To address this, we reformulate physics-aware editing as predictive physical state transitions and introduce PhysicTran38K, a large-scale video-based dataset comprising 38K transition trajectories across five physical domains, constructed via a two-stage filtering and constraint-aware annotation pipeline. Building on this supervision, we propose PhysicEdit, an end-to-end framework equipped with a textual-visual dual-thinking mechanism. It combines a frozen Qwen2.5-VL for physically grounded reasoning with learnable transition queries that provide timestep-adaptive visual guidance to a diffusion backbone. Experiments show that PhysicEdit improves over Qwen-Image-Edit by 5.9% in physical realism and 10.1% in knowledge-grounded editing, setting a new state-of-the-art for open-source methods, while remaining competitive with leading proprietary models.