Scaling Vision-Language Reward Learning for Robot Manipulation in Parallel Simulation

📄 arXiv: 2609.21767v1 📥 PDF

作者: Lobna Joualy, Eric Demeester, Nikolaos Tsiogkas

分类: cs.RO

发布日期: 2026-09-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出RAPID以加速机器人操作中的视觉-语言奖励学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉-语言模型 奖励学习 机器人操作 并行计算 数据感知 自动化 深度学习

📋 核心要点

  1. 现有的视觉-语言模型在偏好奖励学习中效率低下，训练过程缓慢且成本高昂。
  2. 提出RAPID系统，通过GPU并行展开和数据感知策略更新，显著提升训练效率。
  3. 实验结果显示，RAPID在训练时间和API调用次数上均有显著减少，成功率大幅提升。

📝 摘要（中文）

视觉-语言模型（VLMs）可以替代人工标注者进行基于偏好的奖励学习，但现有方法的顺序API请求和单一环境数据收集使得训练过程缓慢且成本高昂。本文提出了RAPID（奖励学习与自适应并行图像多样性），该系统结合了GPU并行展开、数据感知的策略更新、单请求偏好标注、自动奖励稳定和代表性图像采样。我们在IsaacLab中对五个Franka Panda操作任务评估了这些组件。并行展开和自适应更新显著减少了训练时间：在匹配的两阶段提示下，平均运行时间从9.18小时降至3.13小时。启用所有RAPID组件后，训练在1.15小时内完成，每次运行使用896次API调用而非19,840次，最终成功率从86.3%提升至98.7%。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言模型在偏好奖励学习中的训练效率低下和高成本问题。现有方法依赖于顺序API请求和单一环境数据收集，导致训练过程缓慢。

核心思路：RAPID系统通过结合GPU并行展开和数据感知的策略更新，优化了训练过程。单请求偏好标注和自动奖励稳定机制进一步提升了效率和稳定性。

技术框架：RAPID的整体架构包括多个模块：GPU并行展开模块、数据感知策略更新模块、单请求偏好标注模块、自动奖励稳定模块和代表性图像采样模块。各模块协同工作，提升了训练效率。

关键创新：RAPID的主要创新在于首次实现了GPU并行展开与自适应更新的结合，显著减少了训练时间和API调用次数，提升了最终成功率。

关键设计：在RAPID中，采用了特定的参数设置和损失函数，以确保奖励的稳定性和训练的高效性。网络结构经过优化，以适应并行处理和快速反馈的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RAPID在训练时间上实现了8.0倍的加速，API调用次数减少了95.5%。在所有组件启用的情况下，最终成功率从86.3%提升至98.7%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过提升视觉-语言模型的训练效率，RAPID可以加速机器人在复杂环境中的学习和适应能力，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Vision-language models (VLMs) can replace human annotators in preference-based reward learning, but sequential API requests and single-environment data collection make training slow and costly. We present RAPID (Reward learning with Adaptive Parallel Image Diversity), a system that couples GPU-parallel rollout with data-aware policy updates, single-request preference labeling, automatic reward stabilization, and representative image sampling. We evaluate these components on five Franka Panda manipulation tasks in IsaacLab. Parallel rollout and adaptive updates provide the first substantial reduction in training time: under matched two-stage prompting, mean runtime falls from 9.18 to 3.13 hours. With all RAPID components enabled, training completes in 1.15 hours using 896 rather than 19,840 API calls per run, and aggregate final success rises from 86.3\% to 98.7\%. This represents an 8.0$\times$ end-to-end speedup and a 95.5\% reduction in API usage. An offline evaluation with Gemma~3 12B and GPT-4.1 mini demonstrates that single-request prompting reduces labeling latency and cost across both models. Code is available at: https://github.com/rapid-vlm/rapid-vlm-rl.