Q-Learning with Scalar Adjoint Matching

📄 arXiv: 2610.10437v1 📥 PDF

作者: Yonghoon Dong, Minsung Yoon, Jaehyuk Kim, Jungwoo Park, Changyeon Kim, Jinwoo Shin

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-10-07

💡 一句话要点

提出标量伴随匹配的Q学习以优化流政策

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流政策 强化学习 标量伴随 价值函数 机器人控制 OGBench 微调

📋 核心要点

  1. 现有方法在微调流政策时面临挑战，尤其是在处理多个流步骤时，计算成本显著增加。
  2. 论文提出了一种新的Q学习方法SQAM，通过标量伴随消除逐步计算的复杂性，简化了流政策的微调过程。
  3. 实验结果表明，SQAM在四个OGBench领域的成功率显著提升，且在真实双手机器人任务中表现优于传统的监督微调。

📝 摘要（中文）

流政策能够捕捉丰富多样的动作分布，利用离线强化学习对其进行微调以超越演示的兴趣日益增长。然而，针对学习到的价值函数微调流政策并非易事，因为政策在多个流步骤中生成动作。伴随匹配提供了一种原则性的方法，通过将最终动作的价值信息反向传播到每个流步骤来更新流模型，但这需要在每个步骤通过政策进行向量-雅可比乘积，随着流步骤和政策规模的增加而增加成本。我们观察到预训练流政策的批量平均速度雅可比集中在其对角线上。基于这一发现，我们推导出一种闭式标量伴随，通过流时间缩放最终动作的价值梯度，从而消除了每步的向量-雅可比乘积。我们进一步发现，在标量伴随下，控制在政策生成的动作上的评论者价值尤为重要。基于这些发现，我们提出了标量伴随匹配的Q学习（SQAM），它将标量伴随与这些动作的价值惩罚结合。SQAM在四个最困难的OGBench领域的成功率超过了每个领域中最强基线18到35个百分点。为了测试SQAM是否可以扩展到大型预训练政策，我们还在真实的双手机器人上微调了视觉-语言-动作政策。SQAM在所有三个任务上均优于监督微调。

🔬 方法详解

问题定义：论文要解决的具体问题是如何有效地微调流政策以超越演示，现有方法在处理多个流步骤时计算成本高且复杂。

核心思路：论文的核心解决思路是利用标量伴随来简化流政策的微调过程，通过流时间缩放最终动作的价值梯度，从而避免了逐步计算的复杂性。

技术框架：整体架构包括流政策的训练、标量伴随的计算以及价值惩罚的应用，主要模块包括流模型、价值函数和评论者网络。

关键创新：最重要的技术创新点是推导出闭式标量伴随，显著降低了计算复杂度，与现有方法相比，避免了每步的向量-雅可比乘积计算。

关键设计：关键设计包括对评论者网络的价值控制，确保在政策生成的动作上进行有效的价值惩罚，同时优化损失函数以适应标量伴随的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SQAM在四个OGBench领域的成功率超过了最强基线18到35个百分点，显示出其在处理复杂任务中的显著优势。此外，在真实双手机器人任务中，SQAM也优于传统的监督微调方法，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和复杂决策系统等。通过优化流政策，SQAM能够在多种任务中实现更高的成功率，具有重要的实际价值和广泛的应用前景，未来可能推动智能系统的进一步发展。

📄 摘要（原文）

Flow policies capture rich and diverse action distributions, and fine-tuning them with off-policy RL to improve beyond the demonstrations has drawn growing interest. However, fine-tuning a flow policy against a learned value function is not trivial, because the policy generates its action over many flow steps. Adjoint matching offers a principled way to update the flow model itself by propagating value information from the final action back to each flow step, but it requires a vector--Jacobian product through the policy at every step, a cost that grows with the number of flow steps and the policy size. We observe that the batch-averaged velocity Jacobian of pretrained flow policies concentrates on its diagonal. Motivated by this finding, we derive a closed-form scalar adjoint that scales the value gradient at the final action by the flow time, eliminating the per-step vector--Jacobian products. We further find that controlling the critic's value at policy-generated actions is particularly important under the scalar adjoint. Based on these findings, we propose Q-learning with Scalar Adjoint Matching (SQAM), which combines the scalar adjoint with a value penalty at those actions. SQAM's gains concentrate on the four hardest OGBench domains, where its success rate exceeds that of the strongest baseline in each domain by 18 to 35 percentage points. To test whether SQAM extends to large pretrained policies, we also fine-tune a vision-language-action policy on a real bimanual robot. SQAM improves over supervised fine-tuning on all three tasks.