UniAction: Unified Action Conditioning for World Models

📄 arXiv: 2610.32977v1 📥 PDF

作者: Bowen Xue, Zizhang Li, Hong-Xing Yu, Jiajun Wu

分类: cs.CV

发布日期: 2026-10-23

备注: Project page: https://uniaction.github.io/

💡 一句话要点

提出UniAction以解决异构动作条件化世界模型问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 动作条件化 世界模型 异构动作 基数校准 机器人控制 虚拟现实 增强现实

📋 核心要点

  1. 现有的动作条件化世界模型通常针对特定动作类型构建，导致动作标注数据的稀缺和碎片化。
  2. UniAction通过将动作表示为稀疏的动作元素集合，允许异构动作在同一时空结构中条件化共享的世界模型。
  3. 实验结果显示，UniAction在动作跟随任务中表现优异，单一模型的性能超过了多个动作特定模型的组合。

📝 摘要（中文）

现有的动作条件化世界模型通常针对单一动作类型构建，导致动作标注数据的碎片化。本文提出了UniAction，一个统一的动作条件化框架，通过将任何动作表示为稀疏的动作元素集合，结合离散的语义身份和连续的时空坐标，允许异构动作在同一时空结构中共同条件化共享的世界模型。此外，论文引入了基于基数校准的注意力机制，以解决不同动作表示粒度带来的偏差。实验表明，UniAction在动作跟随任务中优于现有的条件化替代方案，且单一联合训练模型的表现超过了动作特定专家，显示出异构动作数据在统一模型和联合训练下的优势。

🔬 方法详解

问题定义：本文旨在解决现有动作条件化世界模型的碎片化问题，现有方法通常只能处理特定类型的动作，导致数据利用效率低下。

核心思路：UniAction的核心思想是将动作表示为稀疏的动作元素集合，这些元素具有离散的语义身份和连续的时空坐标，从而实现异构动作的统一条件化。

技术框架：UniAction的整体架构包括动作元素的表示、时空坐标的映射以及基于基数校准的注意力机制。通过将时空坐标直接映射到预训练视频模型的原生位置空间，确保了不同动作的有效整合。

关键创新：UniAction的主要创新在于其统一的动作条件化框架和基数校准的注意力机制，这与传统的针对单一动作类型的模型形成鲜明对比，显著提高了模型的泛化能力。

关键设计：在设计中，UniAction采用了稀疏动作元素的表示方式，并引入了基数校准的注意力机制，以减少不同动作表示粒度带来的偏差，确保模型在处理异构动作时的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，UniAction在动作跟随任务中表现优于其他条件化替代方案，且单一联合训练模型的性能超过了多个动作特定专家，显示出在处理异构动作数据时的显著优势，具体提升幅度未知。

🎯 应用场景

UniAction的研究成果在机器人控制、虚拟现实和增强现实等领域具有广泛的应用潜力。通过实现对异构动作的统一理解，该框架能够提升智能体在复杂环境中的交互能力，推动人机协作和自动化系统的发展。

📄 摘要（原文）

Actions that condition world models are highly heterogeneous, and thus existing action-conditioned world models are typically built for individual action types, fragmenting already limited action-annotated data across separate models. We introduce UniAction, a unified action-conditioning framework that represents any action as a sparse set of action elements, each with a discrete semantic identity and a continuous spatiotemporal grounding coordinate. By mapping these coordinates directly into the pretrained video model's native positional space, UniAction allows heterogeneous actions to condition a shared world model within the same spatiotemporal structure. We further introduce cardinality-calibrated attention to address the bias from differing action representation granularities. We evaluate UniAction on four representative action forms: force, camera control, hand pose, and robot pose. UniAction outperforms conditioning alternatives in action following, and a single jointly trained model surpasses the action-specific experts, showing that heterogeneous action data benefit from unified model and joint training.