Reconstructing Is Not Acting: Action-Centric Latent Dynamics Modeling

📄 arXiv: 2609.15189v1 📥 PDF

作者: Dingjie Fu, Dianxing Shi, Yangyang Xu, Jun Yu

分类: cs.CV

发布日期: 2026-09-14

备注: Tech report, 26 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出ACT-LAM以解决重建与动作表示不匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在动作模型 动态建模 机器人控制 视频理解 动作表示

📋 核心要点

  1. 现有的潜在动作模型在重建与动作表示之间存在不匹配，导致下游任务性能不佳。
  2. 本文提出ACT-LAM框架，通过改进动作提取和利用机制来解决重建与动作不匹配的问题。
  3. 实验结果显示，ACT-LAM在VP²成功率上超越了之前的最优方法7.6%，且计算效率更高。

📝 摘要（中文）

潜在动作模型（LAMs）通过推断潜在动作和重建未来状态来学习无标签视频中的动作表示。然而，本文识别出重建与动作之间的基本不匹配：较低的重建误差不一定能带来更好的潜在动态或下游性能。为了解决这一问题，本文提出了ACT-LAM框架，强化了动作提取和利用。具体而言，ACT-LAM的动作查询逆动态模型（AQ-IDM）通过可学习的动作查询和门控聚合选择性提取丰富的动作相关过渡线索，而动作令牌前向动态模型（AT-FDM）则将潜在动作投影为动作令牌，促进与状态表示的持续交互。实验表明，ACT-LAM在多个机器人数据集和VP²基准上表现出更强的潜在动作一致性和下游视觉规划性能，且参数更少，计算开销更低。

🔬 方法详解

问题定义：本文旨在解决潜在动作模型中重建与动作表示之间的不匹配问题。现有方法在重建误差较低时，未必能有效捕捉动作相关的动态特征，导致下游任务性能不足。

核心思路：ACT-LAM框架通过引入动作查询逆动态模型（AQ-IDM）和动作令牌前向动态模型（AT-FDM），强化了动作的提取与利用，确保模型能够更好地理解和应用潜在动作。

技术框架：ACT-LAM的整体架构包括两个主要模块：AQ-IDM用于提取动作相关的过渡线索，AT-FDM则负责将潜在动作与状态表示进行交互。该框架还优化了特征处理，集中模型能力于潜在动态建模。

关键创新：ACT-LAM的主要创新在于引入了可学习的动作查询和门控聚合机制，使得动作提取过程更加灵活和高效，显著提升了模型对动作相关信息的捕捉能力。

关键设计：在AQ-IDM中，采用了可学习的动作查询以增强动作提取的针对性；在AT-FDM中，通过将潜在动作映射为动作令牌，促进了与状态表示的动态交互。这些设计使得模型在处理复杂动态时表现更佳。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个机器人数据集和VP²基准上，ACT-LAM展示了更强的潜在动作一致性和前向动态性能，成功率提升7.6%，且在训练参数和计算开销上均表现出优势，显示出其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、视频理解等。通过改进动作表示和动态建模，ACT-LAM能够在复杂环境中实现更高效的决策和规划，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Latent action models (LAMs) learn action representations from unlabeled videos by inferring latent actions from visual transitions and reconstructing future states. However, we identify a fundamental $\textbf{reconstruction-action mismatch}$: lower reconstruction error does not necessarily yield better latent dynamics or downstream performance. We attribute this mismatch to two underconstrained aspects of reconstruction-based latent dynamics modeling: (i) the inverse dynamics model (IDM) is not explicitly encouraged to distinguish action-related transitions from nuisance appearance, and (ii) the forward dynamics model (FDM) can underutilize the inferred latent action by exploiting predictive shortcuts from the current state. To address both limitations, we propose $\textbf{ACT-LAM}$, a lightweight action-centric framework that strengthens both action extraction and action utilization. Specifically, its Action Query IDM (AQ-IDM) employs learnable action queries and gated aggregation to selectively extract rich action-related transition cues without strong information bottlenecks. And its Action Token FDM (AT-FDM) projects latent actions into action tokens that progressively interact with evolving state representations, enabling continuous state-aware action conditioning. ACT-LAM further streamlines feature processing to concentrate model capacity on latent dynamics modeling. Extensive experiments on several robotic datasets and the VP$^2$ benchmark demonstrate stronger latent action consistency, forward dynamics, and downstream visual planning performance with fewer trainable parameters and lower computational overhead. In particular, ACT-LAM surpasses the previous state of the art by $\textbf{7.6%}$ on the aggregated VP$^2$ success rate. Codes at $\href{https://github.com/DingjieFu/ACT-LAM}{url}$.