From Pixels to Executable Physics: Behavior-Grounded World Models for Embodied Action Consequence Prediction

📄 arXiv: 2610.17630v1 📥 PDF

作者: Ruo Chen, Jiahua Pang, Yingjie Niu, Hongyi Lin, Jun Tian, Yang Zhu, Chao Li

分类: cs.RO, cs.CV

发布日期: 2026-10-13

💡 一句话要点

提出DR-WM以解决四足机器人动作结果预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 四足机器人 动作预测 物理一致模型 机器人导航 地形交互 视频世界模型 智能决策

📋 核心要点

  1. 现有视频世界模型在捕捉机器人动态和地形交互方面存在不足，导致动作结果预测不准确。
  2. DR-WM通过结合机器人与地形的接触动态，提供了一种物理一致的世界模型来预测动作后果。
  3. 实验结果显示，DR-WM在90个复杂场景中，显著提升了动作选择的准确性，优于多种基线模型。

📝 摘要（中文）

在户外环境中，不同的地形和接触条件可能导致相同的动作指令产生不同的运动结果。预测这些结果对于可靠导航和路径选择至关重要。现有的视频世界模型虽然能够生成视觉上合理的未来场景，但往往难以捕捉机器人动态和地形交互，导致对动作结果的过于乐观预测。本文提出了DR-WM，一种物理一致的世界模型，结合了机器人与地形的接触动态，以预测四足机器人的动作后果。该方法从初始RGB图像出发，重建场景几何，并整合基于真实世界动作响应数据的密集无量纲先验，支持具有空间变化接触属性的物理模拟。实验表明，DR-WM在关键物理指标上显著优于仅基于几何和均匀物理参数的基线，且在评估的基线中表现最佳。

🔬 方法详解

问题定义：本文旨在解决四足机器人在不同地形条件下，动作指令导致的运动结果预测不准确的问题。现有方法往往无法有效捕捉机器人与地形的动态交互，导致预测结果过于乐观。

核心思路：DR-WM通过整合机器人与地形的接触动态，构建一个物理一致的世界模型，从而更准确地预测四足机器人的动作后果。该设计旨在提高模型对复杂环境的适应能力。

技术框架：该方法从初始的RGB图像出发，重建场景几何，并整合基于真实世界数据的密集无量纲先验。模型通过模拟物理过程，生成未来的运动轨迹，并利用这些轨迹指导视频世界模型的训练。

关键创新：DR-WM的核心创新在于其物理一致性，能够有效捕捉地形的空间变化接触属性，与现有的几何模型和均匀物理参数模型相比，提供了更为准确的预测。

关键设计：模型的关键设计包括基于真实数据的接触属性校准、损失函数的选择以优化预测精度，以及网络结构的设计以支持复杂的物理模拟。具体参数设置和网络架构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DR-WM在90个复杂场景中，显著优于仅基于几何和均匀物理参数的基线模型，尤其在关键物理指标上表现出色。此外，结合DR-WM的8B视觉语言模型在五个评估指标上超越了未辅助的32B模型，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自主导航、机器人路径规划和智能交通系统等。通过提高机器人在复杂环境中的决策能力，DR-WM能够在实际应用中显著提升四足机器人的导航效率和安全性，未来可能对机器人技术的发展产生深远影响。

📄 摘要（原文）

In outdoor environments, varying terrain and contact conditions can cause identical action commands to produce different motion outcomes for quadruped robots. Predicting these outcomes is essential for reliable navigation and informed path selection. Existing video world models can generate visually plausible futures, yet often struggle to capture robot dynamics and terrain interactions, leading to overly optimistic predictions of action outcomes. We present DR-WM, a physically consistent world model that incorporates robot-terrain contact dynamics to predict the consequences of quadruped actions. Starting from an initial RGB image, our method reconstructs scene geometry and integrates dense, dimensionless priors over terrain contact properties, calibrated using real-world action-response data. The resulting terrain model supports the simulation of physics with spatially varying contact properties such as friction. Given the initial state of the robot and candidate action sequences, we simulate its future motion and use the resulting camera trajectories and rendered geometry to guide the training of a video world model. The generated future observations are then used to update the terrain reconstruction, enabling iterative model rollouts without additional real-world images. Extensive experiments demonstrate that DR-WM substantially outperforms geometry-only baselines and baselines with uniform physical parameters on key physical metrics characterizing action outcomes, while achieving the best performance among the evaluated baselines. These physically grounded predictions support more informed action selection: across 90 challenging scenarios, an 8B vision-language model augmented with DR-WM outperforms an unassisted 32B vision-language model on five of six evaluation metrics.