Does Physics Live in the Activations? Localizing Physical Quantities in Video Diffusion Models
作者: Jonas Kneifl, Jakub Skalski, Bartłomiej Twardowski, Kamil Deja
分类: cs.CV, cs.LG
发布日期: 2026-10-02
备注: 22 pages, 8 figures, 5 tables
💡 一句话要点
通过激活定位物理量以提升视频生成模型的物理推理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 物理推理 扩散模型 激活探测 动态场景理解
📋 核心要点
- 现有视频生成模型在物理推理方面存在显著缺陷，无法有效内化物理原则。
- 本文通过探测视频扩散变换器的内部表示，提出了一种新的方法来解码物理量。
- 实验结果表明，相关物理信息在去噪过程中被主动构建，且解码精度显著高于基线模型。
📝 摘要（中文）
视频生成模型在生成逼真序列方面表现出色，但在物理推理上存在明显不足。本文探讨视频扩散变换器（DiTs）内部表示是否内化了物理原则。研究发现，在去噪过程中，物理量能够以高精度线性解码，且相关信息在去噪时主动构建，而非输入时已存在。此外，物体上的激活携带相关物理信息，且跨帧定义的量可从单帧潜在表示中读取，信息在令牌序列中高度局部化。实验还显示，模型在训练范围外的场景变化和物体配置上具备一定的外推能力。
🔬 方法详解
问题定义：本文旨在解决视频生成模型在物理推理方面的不足，尤其是是否能够有效内化物理原则。现有方法在处理物理量时表现不佳，缺乏对物理规律的理解。
核心思路：论文提出通过探测视频扩散变换器（DiTs）内部激活来解码物理量，验证这些模型是否能够在去噪过程中主动构建物理信息，而非仅仅依赖输入数据。
技术框架：研究首先通过模拟器生成真实的物理量数据，然后在去噪过程中对DiTs的激活进行探测，分析其对物理量的解码能力。主要模块包括数据生成、激活探测和解码精度评估。
关键创新：最重要的创新在于发现物理量可以在去噪早期阶段以高精度解码，且相关信息在激活中高度局部化，表明模型在去噪过程中主动构建物理信息。
关键设计：在实验中，采用了线性解码器来提取物理量，并通过对比基线模型的解码结果，验证了新方法的有效性和优越性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，物理量在去噪过程中的解码精度显著高于基线模型，且在训练范围外的场景变化中具备一定的外推能力。这表明模型不仅能有效解码已知场景的物理信息，还能适应新的物体配置和环境变化。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、虚拟现实和自动驾驶等，能够提升模型在动态环境中的物理推理能力，从而增强其在复杂场景中的表现。未来，研究成果可为更智能的物理模拟和交互系统奠定基础。
📄 摘要（原文）
Video generation models produce strikingly realistic sequences and are increasingly proposed as world models, yet recent benchmarks reveal pronounced deficits in their physical reasoning. This raises the question of whether these models internalize physical principles or merely reproduce familiar motion patterns. We address this by probing internal representations of video Diffusion Transformers (DiTs) for simulator-derived ground-truth physical quantities spanning kinematic motion and rigid-body dynamics under gravity and contact. We find that these quantities are linearly decodable with high accuracy early in the denoising process, substantially outperforming a baseline decoded directly from the model's own noised latents, indicating that the relevant physical information is actively constructed during denoising rather than already present in the input. Additionally, we show that activations at on-object tokens carry the relevant physical information and that quantities defined over multiple frames are readable from single latent frames. Hence, information is sharply localized within the token sequence and is computed globally but stored locally. The probes further show partial extrapolation, transferring to scene variations and object configurations outside their training regime, so what they read is not simply a correlate of the scenes they were fit on. When fitted directly in the full-resolution activation space, the probing directions can serve as steering vectors to change the model's output.