Physical Canvas: A Vision Tactile World Model For Robot Policy Evaluation And Learning

📄 arXiv: 2610.28613v1 📥 PDF

作者: Zebin Xing, Yuhang Zheng, Yupeng Zheng, Yichen Zhang, Zichen Li, Shangqing Zhou, Yujie Zang, Yuchen Liu, Zhongpu Xia, Haoran Li, Qichao Zhang

分类: cs.RO

发布日期: 2026-10-20

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PhysCanvas以解决机器人政策评估中的接触动态问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人政策评估 视觉-触觉模型 多模态融合 状态一致性 物理交互模拟

📋 核心要点

  1. 现有方法在机器人政策评估中难以准确模拟接触动态，导致反馈不可靠。
  2. 论文提出PhysCanvas，通过统一多模态数据来构建状态一致的视觉-触觉世界模型，提升政策学习效果。
  3. 在四个真实操作任务中，使用状态奖励模型后训练显著提高了政策的成功率，从59.1%提升至70.8%。

📝 摘要（中文）

评估和后训练机器人政策通过物理交互既昂贵又难以扩展，这促使了基于动作条件的世界模型作为交互式模拟器的研究。然而，视觉上合理的预测可能会误导接触动态，从而为政策评估和学习提供不可靠的反馈。我们提出了PhysCanvas，一个状态一致的视觉-触觉世界模型，专注于接触丰富的机器人操作。PhysCanvas在统一的视觉空间中整合了多视角RGB、触觉图像、标记位移、任务状态和动作。所有模态共享一个视频变分自编码器和预训练的生成骨干网络，使光学触觉能够重用视觉和时间先验。通过正向运动学和相机投影获得的运动图像提供了空间对齐的动作条件，而初始RGB锚点和更新的参考观测则引导序列生成。我们的后训练方法使用冻结的场景奖励模型、模态奖励模型和状态奖励模型来监督场景保持、视觉-触觉兼容性和与真实任务结果的一致性。实验结果表明，统一的多模态建模和一致性后训练对机器人政策评估和学习具有重要价值。

🔬 方法详解

问题定义：本论文旨在解决机器人政策评估中由于接触动态模拟不准确导致的反馈不可靠问题。现有方法在处理接触丰富的操作时，往往无法提供真实的物理交互反馈，影响政策的学习和评估效果。

核心思路：论文提出的PhysCanvas通过整合多视角RGB、触觉图像等多种模态，构建一个状态一致的视觉-触觉世界模型，从而实现更准确的接触动态模拟。该模型利用视频变分自编码器和预训练的生成骨干网络，增强了视觉和时间先验的重用能力。

技术框架：PhysCanvas的整体架构包括多个模块：首先，输入多视角RGB和触觉图像，经过视频变分自编码器处理；其次，利用正向运动学和相机投影生成运动图像，提供空间对齐的动作条件；最后，通过状态奖励模型等进行后训练，确保模型输出与真实任务结果的一致性。

关键创新：PhysCanvas的主要创新在于其统一的多模态建模和一致性后训练方法。这种设计使得模型能够在接触动态的模拟中保持高一致性，显著提升了政策评估的可靠性。与传统方法相比，PhysCanvas在处理复杂的物理交互时表现出更好的适应性和准确性。

关键设计：在模型设计中，采用了冻结的场景奖励模型、模态奖励模型和状态奖励模型，以监督模型的场景保持和视觉-触觉兼容性。此外，损失函数的设计考虑了多模态数据的融合，确保了生成结果的高质量和一致性。通过这些技术细节的优化，PhysCanvas实现了对机器人政策的有效评估和学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用状态奖励模型进行后训练后，政策的成功率从59.1%的基线提升至70.8%。此外，世界模型与真实世界成功率之间的皮尔逊相关系数从0.602提高至0.885，验证了模型的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。PhysCanvas能够为机器人提供更准确的环境反馈，提升其在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Evaluating and post-training robot policies through physical interaction is costly and difficult to scale, motivating action-conditioned world models as interactive simulators. However, visually plausible predictions can misrepresent contact dynamics, providing unreliable feedback for policy evaluation and learning. We introduce PhysCanvas, a state-consistent visuo-tactile world model for contact-rich robot manipulation. PhysCanvas unifies multi-view RGB, tactile images, marker displacement, task state, and actions within a unified vision space. All modalities share a video VAE and pretrained generative backbone, allowing optical touch to reuse visual and temporal priors. Motion images derived through forward kinematics and camera projection provide spatially aligned action conditioning, while an initial RGB anchor and updated reference observations guide sequential generation. Our consistency-aware post-training uses the frozen Scene Reward Model, Modality Reward Model, and State Reward Model to supervise scene preservation, visual-tactile compatibility, and agreement with real task outcomes. The resulting world model supports closed-loop policy rollouts for evaluation and provides imagined interactions and rewards for GRPO policy updates. Across four real-world manipulation tasks, when policies are rolled out in the world model, State Reward Model supervision increases the arithmetic mean of task-wise Pearson correlations between world-model and real-world success rates from 0.602 to 0.885. Policy post-training in the reward-guided world model further increases $π_{0.5}$'s mean real-world success rate from a 59.1% SFT baseline to 70.8%. These results demonstrate the value of unified multimodal modeling and consistency-aware post-training for robot policy evaluation and learning. Project page: https://zebinx.github.io/PhysCanvas_HomePage/.