Adjoint Guidance Flow: Amortized Critic Guidance for VLA Policies

📄 arXiv: 2609.34944v1 📥 PDF

作者: Jeongsol Kim, Youngjun Jun, Kyumin Choi, Youngmin Kim, Seonghyun Jin, Sunwoo Park, Jangho Park, Kwanyoung Kim, Jong Chul Ye

分类: cs.LG, cs.CV, cs.RO

发布日期: 2026-09-28

💡 一句话要点

提出Adjoint Guidance Flow以优化VLA策略的长期任务回报

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 评论指导 最优控制 轻量级网络 机器人控制

📋 核心要点

  1. 现有的VLA策略训练方法主要依赖行为克隆，未能有效优化长期任务回报，导致性能不足。
  2. 论文提出的AGF通过将评论指导融入轻量级网络，解决了现有方法在内存和计算效率上的不足。
  3. 实验结果表明，AGF在多个基准数据集上均优于预训练VLA，且在速度和参数数量上具有显著优势。

📝 摘要（中文）

基于流的视觉-语言-动作（VLA）策略通常通过行为克隆进行训练，因此未能显式优化长期任务回报。现有的评论指导方法通过对采样器的一步替代进行评论的微分，并在每个流步骤中反向传播评论集成。本文提出了Adjoint Guidance Flow（AGF），将轨迹感知的评论指导融入轻量级指导网络，同时保留预训练的VLA策略。具体而言，我们将评论指导的流生成形式化为确定性最优控制问题，其最优指导是一个成本状态，通过剩余流反向传递终端评论梯度，并在保持VLA和评论不变的情况下回归指导网络。该设计在训练期间提供了良好的内存和吞吐量扩展，推理时每个步骤只需一次指导网络的前向传递，无需评论集成、反向传播或伴随计算。AGF在LIBERO、RoboCasa和LIBERO-Pro上始终改善预训练的VLA，且在使用单一指导强度跨任务时表现出最强的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决基于流的VLA策略在长期任务回报优化中的不足。现有方法依赖于逐步的评论集成和反向传播，导致计算开销大，效率低下。

核心思路：AGF通过将评论指导转化为轻量级的指导网络，避免了对评论集成的依赖，从而实现了高效的轨迹感知指导。这样的设计使得在推理时只需一次前向传递，显著提高了效率。

技术框架：AGF的整体架构包括预训练的VLA策略、评论网络和轻量级指导网络。首先，利用评论网络生成成本状态，然后通过指导网络进行流生成，最终实现高效的动作选择。

关键创新：AGF的主要创新在于将评论指导形式化为确定性最优控制问题，并通过成本状态进行回归。这一方法与传统的逐步评论集成方法本质上不同，显著降低了计算复杂度。

关键设计：在设计中，AGF保持VLA和评论网络的参数不变，仅对指导网络进行训练。损失函数设计为最小化与成本状态的差异，确保指导网络能够有效捕捉轨迹信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AGF在每个指导步骤上比QGF快3.6倍，参数数量减少7.0倍，同时在性能上与现有的评论指导和策略微调基线相当，甚至更优，展现了其在多任务环境中的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和人机交互等场景。通过优化VLA策略的长期任务回报，AGF能够提升系统的智能决策能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Flow-based Vision-Language-Action (VLA) policies are typically trained by behavior cloning and thus do not explicitly optimize long-term task return. Critic guidance steers generation toward higher-value actions, but existing methods differentiate the critic through a one-step surrogate of the sampler and back-propagate a critic ensemble at every flow step. In contrast, here we propose Adjoint Guidance Flow (AGF), which amortizes trajectory-aware critic guidance into a lightweight guidance network while preserving the pretrained VLA policy. Specifically, we formulate critic-guided flow generation as a deterministic optimal control problem, whose optimal guidance is a costate that carries the terminal critic gradient back through the remaining flow, and regress the guidance network onto this costate while keeping both the VLA and critic frozen. This design provides favorable memory and throughput scaling during training, and inference needs one guidance-network forward pass per step, without the critic ensemble, back-propagation, or adjoint computation. Across LIBERO, RoboCasa, and LIBERO-Pro, AGF consistently improves pretrained VLAs, remains competitive with critic-guidance and policy-fine-tuning baselines, and is the most robust method when a single guidance strength is deployed across tasks. Compared with QGF, AGF runs $3.6\times$ faster per guidance step with $7.0\times$ fewer parameters, with comparable and even better performance, showing that critic guidance can be trajectory-aware and lightweight.