Action Forcing: Training World Models on Unsupervised Video by Recovering Underlying Egomotion Bases
作者: Ashish Sundar, Tiankuo Hou, Zhong Fan, Chunbo Luo, Xiaoyang Wang
分类: cs.CV, cs.AI
发布日期: 2026-09-24
💡 一句话要点
提出基于无监督视频的动作强制训练世界模型方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 无监督学习 世界模型 自运动基础 主成分分析 动作控制 视频生成 机器人控制 动态环境
📋 核心要点
- 现有方法依赖于仪器平台和人工标注，缺乏有效的同步动作注释，限制了可控世界模型的训练。
- 论文提出通过恢复自运动基础，将未标记视频转化为动作监督数据，利用主成分分析提取控制信号。
- 实验结果表明，模型在反向和静止控制方面表现优异，且在生成质量和可控性上超越了大多数基线方法。
📝 摘要（中文）
本研究提出了一种新方法，通过恢复数据派生的自运动基础，将普通未标记视频转化为动作监督训练数据，从而解决了训练可控世界模型所需的同步动作注释稀缺的问题。该方法利用像素位移跟踪和自运动引起的重复一致结构，直接获得基础控制信号。通过主成分分析，发现主要成分提供了可扩展的油门-偏航控制信号。研究还批判了传统视频生成指标的使用，提出了一种参考无关的评估方法，测量可控性、合理性、虚构能力和几何完整性，展示了模型在反向和静止动作上的能力，尽管反向动作在训练数据中占比不足1%。
🔬 方法详解
问题定义：本研究旨在解决训练可控世界模型所需的同步动作注释稀缺问题。现有方法依赖于仪器平台、昂贵的人工标注或缺乏基础的潜在动作模型，导致训练数据的获取困难。
核心思路：本研究通过恢复数据派生的自运动基础，将普通未标记视频转化为动作监督训练数据。利用像素位移跟踪和自运动引起的重复一致结构，直接获得基础控制信号。
技术框架：整体架构包括视频数据的像素位移跟踪、主成分分析（PCA）提取控制信号，以及在线潜在评估器的使用。该框架避免了通过解码器或跟踪器的反向传播，从而防止高容量视频模型利用像素级监督。
关键创新：最重要的技术创新在于通过简单的主成分分析从未标记视频中提取可控信号，提供了可扩展的油门-偏航控制。这一方法与现有依赖于标注数据的模型本质上不同，能够在缺乏监督的情况下进行有效训练。
关键设计：关键设计包括使用在线潜在评估器来蒸馏冻结的解码器-跟踪器-PCA教师，确保模型不依赖于像素级监督。损失函数和网络结构的具体细节在论文中进行了详细描述。实验中还提出了一种新的评估方法，测量模型的可控性、合理性、虚构能力和几何完整性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在反向和静止动作的控制上表现优异，尽管反向动作在训练数据中占比不足1%。与传统基线相比，模型在可控性和生成质量上有显著提升，展示了在复杂动作指令下的良好适应性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等场景，能够在缺乏标注数据的情况下训练出高效的可控世界模型。未来，该方法可能推动无监督学习在动态环境中的应用，提升智能体的自主决策能力和适应性。
📄 摘要（原文）
Synchronised action annotations are needed to train controllable world models and these datasets remain elusive. Existing approaches make use of instrumented platforms with calibrated sensors, costly manual annotation, or latent-action models which lack grounding. We instead turn ordinary unlabelled video into action-supervised training data by recovering (without training) a data-derived egomotion basis. We track pixel displacements across frames and exploit the recurring coherent structure induced by egomotion to obtain grounded control signals directly. Using a method as simple as principal components analysis perform this, we find that the leading components provide signed, scalable, and composable throttle--yaw controls, although the method can recover only motion axes represented in the data. To prevent a high-capacity video DiT from exploiting pixel-level supervision, an online latent critic distils a frozen decoder--tracker--PCA (Principal Components Analysis) teacher without backpropagating through the decoder or tracker. Finally we critique the use of video generation metrics to evaluate WMs and introduce an example of an alternative, reference-free evaluation method. We measure \textit{controllability}, \textit{plausibility}, \textit{conjuring} (creating objects out of thin air) and \textit{geometric integrity}, revealing failures that conventional video metrics miss. We show that most baselines follow familiar action directions but struggle to reverse or remain stationary. Our model handles both while retaining compositional control and generation quality. Despite backwards actions being less than $1\%$ of our training data, we find that the model learns to reverse, scale its response linearly, and compose throttle with steering, all simply by learning through a grounded action space.