Dream4ACT: A Shared Visual Action Interface for Multi-Embodiment Video-Action Modeling
作者: Xiangyu Zhu, Jin Xu, Yue Guo, Xin Wu, Yifan Sun, Xiancong Ren, Jianxin Sun, Yong Dai, Xiaozhu Ju
分类: cs.RO
发布日期: 2026-09-30
💡 一句话要点
提出Dream4ACT以解决多体视频动作建模中的动作表示统一问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 视频生成模型 多体系统 动作表示 共享视觉接口 机器人操作 时空先验 URDF 多视图恢复
📋 核心要点
- 现有方法在跨具身体的视频动作建模中，动作表示缺乏统一性，导致难以直接利用视频生成模型的时空先验。
- 论文提出了共享视觉动作接口，通过URDF基础的前向运动学从多个视角渲染目标关节配置，实现动作表示的统一。
- Dream4ACT在RoboTwin 2.0上实现了88.98%的成功率，展示了其在闭环操作和多视图预测中的有效性和竞争力。
📝 摘要（中文）
视频生成模型（VGM）为具身观察-动作建模提供了强大的时空先验。然而，现有的关节空间动作向量缺乏明确的图像空间结构，并且在不同具身体之间的维度和语义各异，导致难以直接利用VGM的丰富时空先验。我们提出了Dream4ACT，一个用于跨具身体的联合视频-动作建模的世界模型。通过引入共享视觉动作接口（动作视图），我们能够从四个预设虚拟摄像机渲染目标关节配置，从而统一不同具身体的动作表示。Dream4ACT在RoboTwin 2.0上取得了88.98%的平均成功率，并在TriWorldBench上获得了65.66的总体得分，支持有效的闭环操作和竞争性的动作条件多视图预测。
🔬 方法详解
问题定义：本论文旨在解决多体视频动作建模中动作表示的统一性问题。现有方法在不同具身体之间的动作向量缺乏明确的图像空间结构，导致难以有效利用视频生成模型的时空先验。
核心思路：论文提出了共享视觉动作接口（动作视图），通过URDF基础的前向运动学从多个虚拟摄像机渲染目标关节配置，从而实现跨具身体的动作表示统一。这种设计允许不同具身体的观察和动作序列共享视频自编码器和扩散变换器。
技术框架：整体架构包括共享视觉动作接口、视频自编码器、扩散变换器和多视图恢复机制。模型通过掩蔽流匹配支持前向动力学、逆向动力学和联合观察-动作生成，所有模块在一个联合训练的模型中进行优化。
关键创新：最重要的技术创新在于引入了共享视觉动作接口，使得不同具身体的动作表示能够在保持特定几何形状的同时实现统一。这与现有方法的本质区别在于不再依赖于特定的具身体解码器。
关键设计：模型采用了URDF约束的多视图恢复机制，无需学习具身体特定的解码器。此外，模型的损失函数设计考虑了未来序列的掩蔽，以支持多种动态生成任务。具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
Dream4ACT在RoboTwin 2.0上实现了88.98%的平均成功率，显示出其在闭环操作中的高效性。同时，在TriWorldBench上获得了65.66的总体得分，表明其在多视图预测任务中的竞争力。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、虚拟现实和增强现实等场景。通过提供统一的动作表示，Dream4ACT能够提升多体系统在复杂环境中的操作能力，推动智能机器人在实际应用中的广泛使用。
📄 摘要（原文）
Video generation models (VGMs) offer strong spatiotemporal priors for embodied observation--action modeling. However, joint-space action vectors lack explicit image-space structure and vary in dimensionality and semantics across embodiments, making it challenging to directly leverage the rich spatiotemporal priors of VGMs. End-effector visualizations provide an alternative but do not specify the full articulated configuration needed for robot execution. We present Dream4ACT, a world model built for joint video-action modeling across embodiments. To unify action representations across embodiments, we introduce a shared visual action interface, called action views, which render target joint configurations from four prescribed virtual cameras using URDF-based forward kinematics. This shared visual representation preserves embodiment-specific articulated geometry while allowing observation and action sequences to share a video autoencoder and diffusion transformer. Through masked flow-matching, our model supports forward dynamics, inverse dynamics, and joint observation--action generation within a single jointly trained model by varying which future sequences are corrupted. To recover executable action sequences from predicted action views, we propose a training-free, URDF-constrained multiview recovery mechanism, without a learned embodiment-specific decoder. Dream4ACT achieves an average success rate of 88.98\% on RoboTwin~2.0 and an overall score of 65.66 on TriWorldBench, supporting effective closed-loop manipulation and competitive action-conditioned multiview prediction through the visual action interface.