Asking the World: Generalist Physical Reasoning through Agentic World Modeling and Probing

📄 arXiv: 2609.39135v1 📥 PDF

作者: Shenxiang Zeng, Chen Yang, Peiyao Chen, Guohui Zhang, Jiansheng Fan, Chen Wang

分类: cs.CV

发布日期: 2026-09-30

备注: 21 pages, 9 figures, 6 tables

💡 一句话要点

提出ATW以解决复杂物理推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物理推理 视觉语言模型 多物理模拟 动态建模 智能代理 实验验证 任务适应性

📋 核心要点

  1. 现有的视觉语言模型在复杂物理任务中缺乏可靠性，无法有效推断潜在的物理属性和动态。
  2. 提出的ATW通过世界建模和世界探测两个阶段，动态构建和查询任务相关的可执行世界，以获取物理推理所需的证据。
  3. ATW在多个数据集上表现优异，CLEVRER任务的准确率达到80.82%，相比基线模型显著提升，展示了其有效性。

📝 摘要（中文）

物理推理需要从视频中推断潜在的物理属性和动态，现有的直接视觉语言模型（VLM）在复杂物理任务中表现不佳。本文提出了“向世界提问”（ATW），一个通用代理，通过两个自适应阶段构建和探测任务相关的可执行世界。ATW的世界建模阶段从视频中校准世界，而世界探测阶段则查询、模拟并干预该世界以获取相关证据。我们开发了PolyWorld引擎，一个轻量且高度可编程的多物理模拟器，支持刚体、软体、布料、绳索、流体及其耦合交互。ATW在CLEVRER、ContPhy及三个真实场景上进行了评估，显著提高了物理推理的准确性，展示了基于代理的世界建模和探测作为有效的通用物理推理方法的潜力。

🔬 方法详解

问题定义：本文旨在解决复杂物理推理中的信息推断问题，现有方法在处理复杂场景时缺乏有效的建模和验证机制，导致推理结果不可靠。

核心思路：ATW通过构建和探测动态世界，允许模型根据具体场景和问题自适应地选择建模和探测策略，从而提高推理的准确性和灵活性。

技术框架：ATW的整体架构包括两个主要模块：世界建模和世界探测。世界建模阶段负责从视频中校准物理世界，而世界探测阶段则通过查询和模拟获取问题相关的证据。

关键创新：ATW的核心创新在于其代理性世界建模和探测机制，区别于传统的预定义工具管道，能够根据具体任务动态调整操作，提升了模型的通用性和适应性。

关键设计：使用PolyWorld引擎作为多物理模拟器，支持多种物理交互，结合基于CEM的系统识别方法，能够有效恢复任务相关的动态特性，确保模拟的准确性和实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ATW在CLEVRER任务中实现了80.82%的准确率，相比于直接使用的Gemini-3-Flash提升了46.50分，在ContPhy任务中也达到了70.56%的准确率，超越了Gemini-3-Flash 28.10分，展示了其在物理推理中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等，能够为这些领域提供更为精准的物理推理能力，提升智能系统在复杂环境中的决策能力和适应性。未来，ATW有望在更广泛的物理推理任务中发挥重要作用，推动智能代理的进一步发展。

📄 摘要（原文）

Physical reasoning from video requires inferring latent physical properties and dynamics beyond direct observation. Direct VLM inference remains unreliable on complex physical tasks without explicit modeling and validation, while predefined tool pipelines rely on task- and domain-specific priors that limit generalization across materials, dynamics, and reasoning tasks. We introduce Asking the World (ATW), a generalist agent that constructs and interrogates task-relevant executable worlds through two adaptive stages: World Modeling calibrates a world from video, while World Probing queries, simulates, and intervenes on it to obtain question-relevant evidence. Rather than prescribing the operations in either stage, ATW determines how to model and probe according to the scene and question. We develop PolyWorld Engine, a lightweight and highly programmable Warp-based multiphysics simulator for constructing and probing worlds with rigid bodies, soft bodies, cloth, ropes, fluids, and their coupled interactions. CEM-based system identification recovers task-relevant dynamics during World Modeling. The resulting world becomes an active workspace for question-directed physical experiments rather than a predetermined downstream tool. We evaluate ATW on CLEVRER, ContPhy, and three real-world scenarios. Using Gemini-3-Flash as its base VLM, ATW achieves 80.82% overall per-question accuracy on CLEVRER, improving direct Gemini-3-Flash by 46.50 points, GPT-5.5 by 13.58 points, and PhysMind by 8.27 points. On ContPhy, it reaches 70.56% overall accuracy, surpassing Gemini-3-Flash by 28.10 points and GPT-5.5 by 3.53 points. Across the three real-world scenarios, ATW achieves 71.67% accuracy, 28.33 points above GPT-5.5. These results establish agentic world modeling and probing as an effective, execution-grounded approach to generalist physical reasoning.