LAFP: Preserving Latent Action Structure in Latent Policy Learning via Flow Matching

📄 arXiv: 2606.10517v1 📥 PDF

作者: Jiexi Lyu, Xizhou Bu, Qingqiu Huang, Chufeng Tang, Xiaoshuai Hao, Hongbo Wang, Wei Li

分类: cs.CV

发布日期: 2026-06-09

💡 一句话要点

提出LAFP以解决多模态动作分布崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在策略学习 流匹配 模仿学习 多模态动作 机器人控制

📋 核心要点

  1. 现有方法依赖行为克隆，导致多模态动作分布崩溃为单模态，降低了潜在动作结构的质量。
  2. 提出LAFP，通过流匹配进行潜在策略学习，并引入插值机制以解决随机性引起的错位问题。
  3. 实验结果显示，LAFP在模仿学习任务中成功率提高10-15%，推理开销增加不到1倍。

📝 摘要（中文）

从大规模无标签视频中学习高质量的潜在动作，并结合有限的真实世界交互数据进行动作解码器训练，已成为可扩展潜在策略学习的有前景的范式。然而，现有方法通常依赖行为克隆，导致多模态动作分布崩溃为单模态，从而降低了预训练的潜在动作结构。尽管流匹配提供了一种潜在替代方案，但直接应用会导致潜在动作与物理动作之间的错位。为了解决这些问题，本文提出了潜在动作流策略（LAFP），利用流匹配进行潜在策略学习，并引入推理时插值机制以减轻随机性引起的错位。实验结果表明，LAFP在下游模仿学习任务中始终优于先前方法，成功率提高了10-15%，且推理开销增加不到1倍。

🔬 方法详解

问题定义：本文旨在解决现有潜在策略学习方法中多模态动作分布崩溃的问题，尤其是在行为克隆过程中，导致潜在动作结构的质量下降。

核心思路：LAFP通过流匹配来学习潜在策略，并在推理阶段引入插值机制，以减轻由于策略的随机性导致的潜在动作与物理动作之间的错位。

技术框架：LAFP的整体架构包括两个主要模块：流匹配模块用于潜在策略学习，插值机制模块用于推理时的动作调整。整个流程从无标签视频中提取潜在动作，然后通过流匹配优化策略，最后在推理时进行插值以确保动作的一致性。

关键创新：LAFP的核心创新在于结合流匹配与插值机制，解决了现有方法中潜在动作与物理动作错位的问题，保持了多模态动作分布的完整性。

关键设计：在损失函数设计上，LAFP采用了流匹配损失与插值损失的组合，以确保潜在动作的多样性和一致性。同时，网络结构上采用了深度神经网络以增强模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LAFP在下游模仿学习任务中表现优异，相较于先前方法成功率提高了10-15%。同时，推理开销增加不到1倍，显示出其在效率与性能上的良好平衡。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等场景，能够有效提升系统对复杂动作的理解和执行能力。未来，LAFP有望在更广泛的模仿学习任务中发挥重要作用，推动智能体的自主学习和适应能力。

📄 摘要（原文）

Learning high-quality latent actions from large-scale unlabeled videos, coupled with limited real-world interaction data for training an action decoder, has emerged as a promising paradigm for scalable latent policy learning. However, existing approaches typically rely on behavior cloning, which tends to collapse inherently multimodal action distributions into unimodal ones, thereby degrading the pretrained latent action structure. While flow matching provides a potential alternative, directly applying it leads to a misalignment between latent actions and physical actions during action decoder training, due to the stochastic nature of the learned policy. To address these, we propose Latent Action Flow Policy (LAFP), which leverages flow matching for latent policy learning and introduces an inference-time interpolation mechanism to mitigate stochasticity-induced misalignment. Experimental results demonstrate that LAFP consistently outperforms prior methods on downstream imitation learning tasks, achieving up to 10-15% improvement in success rate while incurring less than 1x additional inference overhead.