Beyond Static Vision: Scene Dynamic Field Unlocks Intuitive Physics Understanding in Multi-modal Large Language Models

📄 arXiv: 2604.03302 📥 PDF

作者: Nanxi Li, Xiang Wang, Yuanjie Chen, Haode Zhang, Hong Li, Yong-Lu Li

分类: cs.CV, cs.AI

发布日期: 2026-04-07

💡 一句话要点

提出场景动态场SDF，提升多模态大语言模型对连续物体动态物理的理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 物理推理 场景动态场 连续物体动态 物理模拟器

📋 核心要点

  1. 现有多模态大语言模型在理解连续物体的动态物理特性方面存在明显不足，阻碍了其高层次物理推理能力。
  2. 论文提出场景动态场（SDF）方法，利用物理模拟器进行多任务微调，从而提升模型对动态场景的理解。
  3. 实验表明，SDF在流体任务上取得了显著的性能提升，并展现出对未见过的物理领域的良好泛化能力。

📝 摘要（中文）

多模态大语言模型(MLLMs)在图像和视频理解方面表现出令人印象深刻的能力，但它们理解物理世界的能力正成为越来越重要的研究重点。尽管有所改进，但当前的MLLMs在高层次的物理推理方面仍然存在显著困难。本文研究了物理推理的第一步，即直观物理理解，揭示了现有模型在理解连续物体动态方面的重大局限性。为了分离和评估这种特定能力，我们引入了两个基本的基准任务：下一帧选择(NFS)和时间连贯性验证(TCV)。实验表明，即使是最先进的MLLMs在这些基础任务上的表现也很差。为了解决这个限制，我们提出了一种简洁的方法，即场景动态场(SDF)，它利用物理模拟器在一个多任务微调框架中进行训练。SDF显著提高了性能，在流体任务上实现了高达20.7%的增益，同时对未见过的物理领域表现出强大的泛化能力。这项工作不仅突出了当前MLLMs中的一个关键差距，而且还提出了一种有希望的、具有成本效益的方法来开发更具有物理基础的MLLMs。

🔬 方法详解

问题定义：现有MLLMs在理解连续物体（如流体）的动态变化方面存在困难，无法准确预测下一帧的状态或判断视频的时间连贯性。这阻碍了它们进行更高级的物理推理，例如预测物体的运动轨迹或判断场景的合理性。现有方法缺乏对物理规律的有效建模，导致在这些任务上的表现不佳。

核心思路：论文的核心思路是利用物理模拟器生成的数据来训练MLLMs，使其学习物理世界的动态规律。通过将物理模拟器作为知识来源，可以有效地弥补MLLMs在物理理解方面的不足。SDF方法旨在以一种简洁有效的方式将物理知识融入到MLLMs中。

技术框架：整体框架包含以下几个主要步骤：1) 使用物理模拟器生成包含连续物体动态变化的视频数据。2) 构建两个基准任务：下一帧选择（NFS）和时间连贯性验证（TCV），用于评估MLLMs的物理理解能力。3) 提出场景动态场（SDF）方法，该方法利用物理模拟器生成的数据进行多任务微调。4) 在NFS和TCV任务上评估SDF的性能，并与其他基线方法进行比较。

关键创新：最重要的技术创新点是场景动态场（SDF）的概念，它是一种简洁而有效的方法，用于将物理模拟器中的知识迁移到MLLMs中。SDF通过多任务微调的方式，使MLLMs能够更好地理解连续物体的动态变化，从而提升其物理推理能力。与现有方法相比，SDF不需要复杂的网络结构或大量的训练数据，具有更高的效率和可扩展性。

关键设计：SDF的关键设计包括：1) 使用高质量的物理模拟器生成逼真的视频数据。2) 设计合适的损失函数，以鼓励MLLMs学习物理世界的动态规律。3) 采用多任务微调策略，同时优化NFS和TCV任务的性能。4) 探索不同的网络结构和参数设置，以找到最佳的SDF实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SDF在NFS和TCV任务上取得了显著的性能提升。在流体任务上，SDF的性能提升高达20.7%。此外，SDF还展现出对未见过的物理领域的良好泛化能力，表明其学习到的物理知识具有一定的通用性。这些结果表明，SDF是一种有效的提升MLLMs物理理解能力的方法。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、游戏开发、虚拟现实等领域。通过提升模型对物理世界的理解能力，可以使机器人在复杂环境中更好地感知、推理和决策。例如，在自动驾驶中，模型可以更准确地预测车辆周围物体的运动轨迹，从而提高驾驶安全性。在游戏开发中，可以创建更逼真的物理效果，提升游戏体验。

📄 摘要（原文）

While Multimodal Large Language Models (MLLMs) have demonstrated impressive capabilities in image and video understanding, their ability to comprehend the physical world has become an increasingly important research focus. Despite their improvements, current MLLMs struggle significantly with high-level physics reasoning. In this work, we investigate the first step of physical reasoning, i.e., intuitive physics understanding, revealing substantial limitations in understanding the dynamics of continuum objects. To isolate and evaluate this specific capability, we introduce two fundamental benchmark tasks: Next Frame Selection (NFS) and Temporal Coherence Verification (TCV). Our experiments demonstrate that even state-of-the-art MLLMs perform poorly on these foundational tasks. To address this limitation, we propose Scene Dynamic Field (SDF), a concise approach that leverages physics simulators within a multi-task fine-tuning framework. SDF substantially improves performance, achieving up to 20.7% gains on fluid tasks while showing strong generalization to unseen physical domains. This work not only highlights a critical gap in current MLLMs but also presents a promising cost-efficient approach for developing more physically grounded MLLMs. Our code and data are available atthis https URL.