DistAL: Distance-based Advantage Learning for VLA Fine-Tuning

📄 arXiv: 2609.18392v1 📥 PDF

作者: Reece O'Mahoney, Ioannis Havoutis

分类: cs.RO

发布日期: 2026-09-16

💡 一句话要点

提出DistAL以解决VLA微调中的奖励信息不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 优势条件化 奖励设计 机器人操作 深度学习

📋 核心要点

  1. 现有方法在奖励设计上过于简单，无法有效区分任务状态的质量，限制了VLA的性能提升。
  2. 本文提出基于距离的优势学习（DistAL），通过嵌入空间距离作为奖励，增强价值函数的信息量。
  3. 实验结果表明，DistAL在多个仿真基准和真实硬件任务中显著提高了成功率，验证了其有效性。

📝 摘要（中文）

视觉-语言-动作模型（VLA）近年来通过结合大规模语言模型的语义理解与流匹配策略的精确控制，推动了机器人操作领域的发展。优势条件化是一种通过在部署数据上训练价值函数并利用其训练优势条件化策略的迭代改进技术。以往研究仅应用简单的成功/失败奖励，导致价值函数无法有效区分不同质量的状态。为此，本文提出了基于距离的优势学习（DistAL），通过使用嵌入空间距离作为奖励，生成更具信息量的价值函数，从而提高下游任务的成功率。我们在一系列仿真基准和真实硬件的灵巧双手操作任务上验证了该方法。

🔬 方法详解

问题定义：本文旨在解决现有VLA微调方法中奖励信息不足的问题，导致价值函数无法有效区分不同任务状态的质量。

核心思路：提出基于距离的优势学习（DistAL），通过将嵌入空间的距离作为奖励信号，使得价值函数能够更准确地反映状态的优劣，从而提升策略的学习效果。

技术框架：整体框架包括数据收集、价值函数训练和优势条件化策略训练三个主要模块。首先收集部署数据，然后训练价值函数，最后利用训练好的价值函数进行策略优化。

关键创新：DistAL的核心创新在于使用嵌入空间距离作为奖励信号，这一设计使得价值函数能够获取更丰富的信息，与传统的简单成功/失败奖励方法形成鲜明对比。

关键设计：在参数设置上，选择合适的距离度量方式，损失函数采用基于优势的策略优化方法，网络结构则结合了深度学习中的常见架构以提升学习效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，采用DistAL方法的模型在多个仿真基准上成功率提高了20%以上，相较于传统方法表现出显著的性能提升，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过提高视觉-语言-动作模型的性能，DistAL能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-language-action models (VLAs) have trans- formed the field of robotic manipulation in recent years by combining the semantic understanding of LLMs with the precise control of flow-matching policies. Advantage conditioning is a recent technique that iteratively improves VLAs by training a value function on deployment data and using this to train an advantage-conditioned policy. Previous works have only applied simple, low-information success/failure rewards, which leave the value function unable to distinguish states of differing quality beyond how far along the task they appear. Motivated by an exploration of out-of-distribution (OOD) detection methods, we introduce Distance-based Advantage Learning (DistAL), which, by using an embedding space distance as a reward, produces a more informative value function and subsequently a higher downstream task success rate. We validate our method on a series of simulation benchmarks and dexterous bi-manual manipulation tasks on real hardware.