Dissecting Advantage-Guided Post-Training for Vision-Language-Action Policies
作者: Jiahang Cao, Hanye Zhao, Hang Lai, Shenyu Zhang, Xiaoshen Han, Xinghang Li, Futeng Liu, Wanli Peng, Heyun Wang, Yunhong Wang, Jason Li, Yong Yu, Weinan Zhang
分类: cs.RO
发布日期: 2026-09-23
备注: 9 pages, 5 figures
💡 一句话要点
提出优势引导的后训练方法以优化视觉-语言-动作策略
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 优势引导 后训练 视觉-语言-动作 强化学习 机器人控制 模块化评估 实证研究
📋 核心要点
- 现有的优势引导后训练方法在设计选择上耦合，难以识别各个因素对性能的独立影响。
- 本文通过控制实验分离设计选择，提出了一种模块化的评估方法来优化优势引导的VLA策略。
- 实验结果表明，所提出的方法在四个真实任务中显著提高了任务进展和成功率，验证了其有效性。
📝 摘要（中文）
优势引导的强化学习为使用有限机器人数据后训练视觉-语言-动作（VLA）策略提供了一种实用的方法。然而，其性能依赖于多个耦合选择，包括如何构建、校准和使用批评者导出的优势。现有方法通常将这些选择结合成单一的端到端过程，使得难以识别其各自的影响。本文通过控制实证研究，剖析优势引导的VLA后训练，分离设计选择并考虑其不同的估计量。我们开发了阶段特定的离线评估方法，以高效筛选替代选择，而无需对每种可能组合进行广泛的真实机器人策略评估。经过四个真实双手任务的实验，所提出的配方在任务进展和成功率上分别比SFT初始化提高了0.42和0.63。
🔬 方法详解
问题定义：本文旨在解决现有优势引导后训练方法中设计选择耦合的问题，导致难以评估各个因素对策略性能的影响。
核心思路：通过控制实证研究，分离不同设计选择的影响，提出阶段特定的离线评估方法，以高效筛选最佳策略组合。
技术框架：整体架构包括优势构建、校准和加权三个主要模块，采用阶段性评估方法来优化每个模块的选择。
关键创新：提出了一种模块化的评估方法，结合时间差分优势构建、组校准和连续优势加权，显著提升了策略的性能。
关键设计：在优势构建中采用时间差分方法，校准过程中使用组-wise校准，优势加权则通过连续方式进行，确保了各个设计选择的独立性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的模块化评估方法在四个真实双手任务中，任务进展和成功率分别比SFT初始化提高了0.42和0.63，验证了方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动化任务执行和人机交互等。通过优化视觉-语言-动作策略，可以提升机器人在复杂环境中的自主决策能力，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Advantage-guided reinforcement learning provides a practical way to post-train vision-language-action (VLA) policies using limited robot data. However, its performance depends on several coupled choices, including how critic-derived advantages are constructed, calibrated, and used for policy training. Existing recipes often combine these choices into a single end-to-end procedure, making their individual effects difficult to identify. In this work, we dissect advantage-guided VLA post-training through a controlled empirical study that separates these design choices while accounting for their distinct estimands. We develop stage-specific offline evaluation methods to screen alternative choices efficiently, without requiring extensive real-robot policy evaluations for every possible combination. The staged evaluation identifies a modular recipe that combines temporal-difference advantage construction, group-wise calibration, and continuous advantage weighting. Across four real-world bimanual tasks, the resulting recipe improves mean task progress and success over the SFT initialization by 0.42 and 0.63, respectively. Moreover, the proposed evaluation diagnostics show an overall alignment with downstream real-world performance, supporting their use for interpreting empirical outcomes and selecting advantage-guided post-training designs in practice.