Interpreting Physics in Video Encoders using Multi-Object Interaction Videos
作者: Ayushi Mehrotra, Sai Vidyaranya Nuthalapati
分类: cs.CV
发布日期: 2026-10-22
💡 一句话要点
提出多物体交互视频解析物理属性的方法以提升视频编码器的可解释性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频编码器 物理属性 多物体交互 自监督学习 可解释性研究
📋 核心要点
- 现有视频编码器在物理属性的可解释性方面存在不足，尤其是对物体间关系的理解较为薄弱。
- 本文提出通过分析双体交互视频，探讨视频编码器中关系物理属性的可解释性，旨在填补这一研究空白。
- 实验结果表明，V-JEPA2和VideoMAE能够有效区分弹性与非弹性碰撞，但在动量和摩擦系数的保持上表现不一。
📝 摘要（中文）
视频编码器模型在物理人工智能中被广泛应用，政策通过潜在空间进行规划，因此潜在空间所包含的物理信息限制了智能体的规划能力。现有的可解释性研究主要关注单一物体的属性，而物体间的关系属性如动量转移、恢复力和摩擦力尚未得到充分研究。本文探讨了在双体设置下，两个冻结的自监督视频编码器（V-JEPA2和VideoMAE）中的关系物理属性，并测试其在不同环境中的迁移能力。初步结果显示，两个编码器能够可靠地区分弹性与非弹性碰撞，但在动量违反检测和摩擦系数的保持上存在差异。
🔬 方法详解
问题定义：本文旨在解决现有视频编码器在理解物体间关系物理属性方面的不足，尤其是动量转移和摩擦力等属性的可解释性问题。现有方法主要集中于单一物体的物理属性，缺乏对多物体交互的深入分析。
核心思路：通过分析双体交互视频，探讨自监督视频编码器（V-JEPA2和VideoMAE）中关系物理属性的表现，旨在揭示这些编码器在不同环境中的迁移能力和可解释性。
技术框架：研究采用两个冻结的自监督视频编码器，分别为V-JEPA2和VideoMAE，进行双体设置下的实验。通过对比分析两种编码器在不同环境下的表现，评估其对物理属性的理解能力。
关键创新：本研究的创新点在于首次探讨了视频编码器中物体间关系物理属性的可解释性，尤其是动量转移和摩擦力等属性的表现与迁移能力，填补了这一领域的研究空白。
关键设计：在实验中，采用了自监督学习的方式对编码器进行训练，重点关注弹性与非弹性碰撞的区分能力。同时，设计了针对动量和摩擦系数的评估指标，以验证编码器在不同几何环境下的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，V-JEPA2和VideoMAE能够有效区分弹性与非弹性碰撞，V-JEPA2在预测动能损失方面表现更优。动量违反检测仅在V-JEPA2中出现，而V-JEPA2的动能读出在环境变化中保持稳定，VideoMAE则未能保持摩擦系数的稳定性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在物理模拟、机器人控制和智能体规划等领域。通过提升视频编码器对物理属性的可解释性，可以为物理推理和决策制定提供更为可靠的支持，促进智能系统在复杂环境中的应用。未来，该研究可能推动更高效的物理AI模型的开发。
📄 摘要（原文）
Video encoder models are increasingly used as world models for physical AI, where a policy plans by rolling out the latent, so what physics the latent holds bounds what the agent can plan over. Moreover, existing interpretability work probes quantities belonging to a single object; the quantities that make physics relational, such as momentum transfer, restitution, and friction, are defined between bodies and have not been examined. We probe relational physics attributes in two frozen self-supervised video encoders (V-JEPA2 and VideoMAE) under two-body settings and test if they transfer across environments. Our early findings are mixed. Both encoders separate elastic from inelastic collisions reliably. V-JEPA2's own predictor is less likely to predict a collision that creates kinetic energy compared to one that loses it. Momentum-violation detection appears in only one of the two encoders, a kinetic-energy readout survives a change of environment for V-JEPA2 but not for VideoMAE, and neither model holds a friction coefficient that survives a change of geometry.