RobotAPO: Adversarial Physics Preference Optimization for Robotic Manipulation Video Generation

📄 arXiv: 2610.09454v1 📥 PDF

作者: Kerui Li, Zhe Jing, Chenyi Huang, Xiaofeng Wang, Zheng Zhu, Haoming Cui, Huaibo Huang

分类: cs.RO

发布日期: 2026-10-07

💡 一句话要点

提出RobotAPO以解决机器人操作视频生成中的物理一致性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 机器人操作 物理一致性 对抗性学习 视频生成 智能体优化

📋 核心要点

  1. 现有方法在优化机器人操作视频时，往往忽视了物理一致性，导致生成的视频在实际执行中存在严重问题。
  2. 论文提出的RobotAPO框架通过对抗性学习，利用物理偏好信号来优化生成过程，从而更好地遵循物理交互边界。
  3. 实验结果显示，RobotAPO在物理一致性方面比最强的内部基线提高了6.8%的硬评分和10.0%的软评分，并在真实机器人重放中实现了37.4%的任务成功率提升。

📝 摘要（中文）

机器人操作视频越来越多地被用作具身智能体的视觉计划，但仅优化视觉合理性往往无法捕捉现实世界交互的脆弱物理流形。论文提出了一种名为RobotAPO的对抗物理偏好优化框架，旨在通过引入物理一致性信号来改善生成视频的质量。通过对10,000个样本的偏好数据集进行严格策划，RobotAPO能够有效纠正局部物理违规现象，从而提升下游机器人执行的成功率。实验结果表明，RobotAPO在物理一致性方面超越了最强的内部基线，并在真实机器人重放中实现了显著的任务成功率提升。

🔬 方法详解

问题定义：论文要解决的问题是现有机器人操作视频生成方法在物理一致性方面的不足，尤其是局部物理违规现象如物体穿透和不当运动，这些问题会导致下游执行失败。

核心思路：论文的核心解决思路是引入对抗性物理偏好优化，通过构建一个偏好数据集来指导生成器，确保生成的视频在物理上更为一致，从而提高执行的成功率。

技术框架：RobotAPO框架主要包括数据集构建、对抗性学习模块和生成器优化三个部分。首先，利用AgiBot-PhysPref数据集来识别物理违规情况，然后通过对抗性学习来优化生成器的输出。

关键创新：最重要的技术创新点在于引入了对抗性反事实提议者，该模块能够学习条件依赖的物理失败偏向方向，从而有效引导生成器探索物理交互边界，与传统方法相比，能够更好地处理动态交互。

关键设计：在关键设计上，论文采用了轻量级的对抗性网络结构，并设计了特定的损失函数来惩罚物理违规现象，确保生成器在优化过程中不会仅仅记忆静态的失败案例。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，RobotAPO在物理一致性方面超越了最强的内部基线，硬评分提高了6.8%，软评分提高了10.0%。在真实机器人重放中，RobotAPO实现了37.4%的任务成功率提升，显示出其在实际应用中的显著效果。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过提高机器人在复杂环境中的物理一致性，能够显著提升其执行任务的成功率，进而推动智能体在现实世界中的应用和普及。未来，该方法还可能扩展到其他需要物理交互的领域，如虚拟现实和增强现实中的物理模拟。

📄 摘要（原文）

Robotic manipulation videos are increasingly used as visual plans for embodied agents, but optimizing purely for visual plausibility often fails to capture the fragile physical manifold of real-world interactions. Even minor physics-violating errors at the interaction boundary, such as interpenetration or premature object motion, can completely invalidate the inferred timing and pose needed for downstream execution. Because standard supervised fine-tuning lacks the direct pressure to penalize these localized failures, we introduce AgiBot-PhysPref. This rigorously curated 10,000-sample preference dataset isolates condition-matched physics violations, turning the generator's own failure distribution into a foundational signal for physical consistency. Building upon this, we propose RobotAPO, an adversarial physics preference optimization framework operating in the continuous flow-matching denoising space. To prevent the policy from merely memorizing static curated failures, RobotAPO employs a lightweight adversarial counterfactual proposer that learns a condition-dependent, physical-failure-biased direction in denoising space. This encourages the model to explore and better respect the physical interaction boundary, all while maintaining a pure prompt-and-reference inference interface without requiring external structural conditioning. Comprehensive evaluations demonstrate that explicitly correcting these localized physics violations improves downstream robot execution from generated videos. On held-out AgiBot conditions, RobotAPO outperforms the strongest controlled internal baseline in physical consistency by 6.8% hard score and 10.0% soft score. Crucially, in real-robot replay, it translates these physical-consistency gains into a 37.4% relative improvement in task success over the strongest controlled internal baseline.