XGenAct: Geometry-Enhanced World Action Models through Cross-Task Generation

📄 arXiv: 2610.03516v1 📥 PDF

作者: Tingting Du, Ziyao Wang, Guoheng Sun, Ang Li

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-10-02

备注: 27 pages, including appendix

💡 一句话要点

提出XGenAct以解决机器人操作中的空间理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 世界动作模型 空间理解 视频扩散变换器 多模态学习 机器人操作

📋 核心要点

  1. 现有方法在机器人操作中未能有效处理空间理解，导致预测能力不足。
  2. XGenAct通过将多种感知信息整合为RGB视频，利用视频扩散变换器进行跨任务学习，提升了空间预测能力。
  3. 在RLBench任务中，XGenAct的成功率达到52%，显著高于基线的26%，并在深度和分割预测上表现更佳。

📝 摘要（中文）

世界动作模型（WAMs）通过预测观察和动作的演变，推动了机器人控制的发展。然而，基于RGB和动作的未来预测并未明确解决机器人操作所需的空间理解。现有方法通常通过专门的头或分支添加有限的空间预测任务，导致空间监督范围和模型架构的碎片化。本文提出XGenAct，一种世界动作模型，通过确定性编解码器将RGB观察、机器人动作、度量深度、表面法线和功能角色分割表示为RGB视频。XGenAct在训练期间通过采样感知和动作任务，使用一个视频扩散变换器和一个目标，在这些空间中学习时间预测，而无需特定模态的学习头。在RLBench任务上，结构化感知训练提高了平均闭环成功率，XGenAct在五个任务的外部比较中取得了52%的成功率，而最强基线仅为26%。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在空间理解方面的不足，尤其是在机器人操作中的应用。现有方法通常依赖于RGB和动作信息，未能有效整合空间信息，导致预测性能受限。

核心思路：XGenAct的核心思想是通过将RGB观察、机器人动作及其他空间信息整合为RGB视频，利用视频扩散变换器进行跨任务的时间预测，从而提升模型的空间理解能力。

技术框架：XGenAct的整体架构包括一个视频扩散变换器和一个统一的目标函数，训练过程中通过采样不同的感知和动作任务来实现多模态学习，避免了传统方法中模态特定的学习头。

关键创新：XGenAct的主要创新在于其通过确定性编解码器将多种感知信息整合为视频，并通过单一的变换器进行学习，这与现有方法的分散架构形成鲜明对比。

关键设计：在设计上，XGenAct采用了统一的损失函数来优化多模态任务，避免了模态间的干扰，同时在网络结构上简化了模型，使其更易于训练和推广。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，XGenAct在RLBench任务上取得了52%的成功率，显著高于最强基线的26%。此外，XGenAct在未来深度和分割预测方面的准确性也优于现有的RGB优先生成方法，展示了其在多模态学习中的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过提升机器人对环境的空间理解能力，XGenAct可以在复杂任务中实现更高的成功率，推动智能机器人在实际应用中的普及与发展。

📄 摘要（原文）

World action models (WAMs) have advanced robot control by predicting how observations and actions evolve over time. Despite this progress, RGB and action based future prediction does not explicitly address the spatial understanding needed for robot manipulation. Existing efforts often add a limited set of spatial prediction tasks through specialized heads or branches, leaving both the range of spatial supervision and the model architecture fragmented. We introduce XGenAct, a world action model that represents RGB observations, robot actions, metric depth, surface normals, and functional role segmentation as RGB videos through deterministic codecs. By sampling perception and action tasks during training, XGenAct uses one video diffusion transformer and one objective to learn temporal prediction across these spaces without modality specific learned heads. On held out RLBench tasks, structured perception training improves average closed loop success over RGB only training, and XGenAct achieves 52% success in the five task external comparison, versus 26% for the strongest evaluated baselines. It also predicts future depth and segmentation more accurately than the evaluated pipelines that generate RGB first and then apply a frozen perception expert.