Online Evolution Strategy for Flow-Matching VLA Policies via Self-Supervised Trajectory Distribution Optimization
作者: Gongxin Yao, Yongsheng Zhao, Jiayin Deng, Deng Liang, Han Gao, Lei Zhao, Baoping Cheng
分类: cs.RO, cs.AI, eess.SY
发布日期: 2026-09-30
💡 一句话要点
提出在线进化策略以优化流匹配VLA策略的轨迹分布
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 流匹配 进化策略 自监督学习 机器人操作 策略优化 多模态学习
📋 核心要点
- 现有的流匹配VLA模型在学习条件动作轨迹分布时，常常出现成功与失败行为共存的问题，导致分布不理想。
- 本文提出的Online-ES框架通过进化策略直接在动作轨迹空间进行探索，利用交互反馈优化轨迹分布。
- 实验结果显示，Online-ES在不学习价值模型或计算优势的情况下，能够实现与强化学习微调相当的策略改进。
📝 摘要（中文）
基于生成框架的视觉-语言-动作（VLA）模型，如流匹配，最近在机器人操作中取得了显著的性能。然而，这些模型学习的条件动作轨迹分布往往存在问题，成功与失败的行为共存，且大量概率质量集中在不利区域。为此，本文提出了一种基于进化策略（ES）的在线适应框架Online-ES，通过交互反馈来优化学习的动作轨迹分布。该方法直接在动作轨迹空间进行进化探索，利用流匹配生成的多样轨迹作为适应候选解。通过扰动采样轨迹并评估其执行结果，本文推导出自监督均方误差目标，将进化方向从轨迹空间转移到模型参数空间。实验结果表明，Online-ES在模拟和真实环境中实现了与强化学习微调相当的策略改进。
🔬 方法详解
问题定义：本文旨在解决流匹配VLA模型在学习条件动作轨迹分布时，存在的成功与失败行为共存及不利区域概率质量过高的问题。现有方法未能有效优化这些分布，导致策略性能受限。
核心思路：提出Online-ES框架，通过进化策略在动作轨迹空间进行在线适应，利用交互反馈来优化轨迹分布，而不是简单修剪潜在噪声空间。
技术框架：整体流程包括：1) 生成多样化的动作轨迹；2) 通过扰动这些轨迹并评估执行结果；3) 基于评估结果推导自监督均方误差目标，优化模型参数。
关键创新：最重要的创新在于直接在动作轨迹空间进行进化探索，利用多样轨迹作为候选解，并引入失败经验作为负反馈，避免策略回到失败区域。
关键设计：设计了自监督均方误差目标作为损失函数，确保进化方向的无偏估计。此外，关键参数设置和网络结构细节未在摘要中详细说明，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Online-ES在模拟和真实环境中均实现了显著的策略改进，性能与强化学习微调相当，且无需学习价值模型或计算优势，展示了其高效性和实用性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在机器人操作、自动化控制和智能交互系统中。通过优化VLA模型的策略分布，能够提升机器人在复杂环境中的适应能力和操作精度，推动智能机器人技术的发展。未来，该方法也可能扩展到其他多模态学习任务中。
📄 摘要（原文）
Vision-Language-Action (VLA) models based on generative frameworks, such as Flow Matching, have recently achieved impressive performance in robotic manipulation. Unlike deterministic policies, Flow Matching enables VLA models to learn conditional action trajectory distributions, where latent noise vectors induce different actions under the same task scenario. However, we observe that these distributions are often ill-formed, with successful and failed behaviors coexisting while considerable probability mass remains in unfavorable regions. To this end, we propose Online-ES, an online adaptation framework for Flow Matching VLAs based on Evolution Strategy (ES), which refines the learned action trajectory distribution through interaction feedback. Instead of pruning the latent noise space, our method performs evolutionary exploration directly in the action trajectory space, where diverse trajectories generated by Flow Matching provide candidate solutions for adaptation. By perturbing sampled trajectories and evaluating their execution outcomes, we derive a self-supervised MSE objective that transfers the evolution direction from trajectory space into model parameter space. Mathematically, we prove that the proposed objective provides an unbiased estimator of the optimal evolution direction. Moreover, we also incorporate failure experiences as negative feedback to regularize the evolution direction, steering the policy away from previously explored failure regions. Experiments in both simulation and real-world environments demonstrate that Online-ES achieves policy improvement comparable to reinforcement fine-tuning, without learning a value model or computing advantages.