SynthDemo-RL: Breaking the Zero-Reward Barrier in VLA Adaptation with LLM-Guided Synthetic Demonstrations

📄 arXiv: 2609.21650v1 📥 PDF

作者: Hiroaki Kingetsu, Hiroaki Kurihara, Kaoru Yokoo, Kenji Fukumizu, Manohar Kaul

分类: cs.RO, cs.AI

发布日期: 2026-09-18

备注: Under review

💡 一句话要点

提出SynthDemo-RL以解决VLA适应中的零奖励问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 强化学习 合成演示 教师-学生框架 机器人操作 自动化控制 稀疏奖励

📋 核心要点

  1. 现有方法依赖人类演示，导致在稀疏奖励环境中探索困难，成功轨迹稀少。
  2. SynthDemo-RL通过教师-学生框架，利用自动化教师生成成功轨迹，并通过PPO优化学生模型。
  3. 在LIBERO-PRO基准上，SynthDemo-RL在没有新的人类演示的情况下，成功率显著提升，达到97.8%。

📝 摘要（中文）

细化视觉-语言-动作（VLA）模型通常依赖于人类遥控演示，而稀疏二元奖励的强化学习（RL）在成功轨迹稀少时面临探索挑战。我们提出了SynthDemo-RL，一个教师-学生框架，其中自动化教师将模拟器特权状态转换为成功的操作轨迹，VLA学生通过监督微调（SFT）从中提取，并通过二元任务成功奖励的PPO进一步优化。我们研究了奖励覆盖率，作为平均成功率的补充。在LIBERO-PRO基准上，SynthDemo-RL在没有新的人类演示的情况下，成功挽救了所有27个任务，平均成功率达到97.8%和97.1%。

🔬 方法详解

问题定义：本论文旨在解决在视觉-语言-动作（VLA）模型微调过程中，依赖人类演示导致的稀疏奖励问题。现有方法在成功轨迹稀少时，强化学习面临探索挑战，导致模型性能受限。

核心思路：提出SynthDemo-RL框架，通过自动化教师生成成功的操作轨迹，利用这些轨迹对VLA模型进行监督微调（SFT），并通过PPO进一步优化模型性能。这样的设计旨在减少对人类演示的依赖，提高模型的学习效率。

技术框架：整体架构包括教师模块和学生模块。教师模块负责将模拟器特权状态转换为成功轨迹，学生模块则通过SFT从教师生成的轨迹中学习，最后通过PPO进行优化。

关键创新：SynthDemo-RL的主要创新在于引入了自动化教师生成成功轨迹的机制，解决了传统方法中对人类演示的依赖，显著提高了模型在稀疏奖励环境下的学习能力。

关键设计：在实验中，SynthDemo-RL使用了50条合成轨迹进行训练，采用了PPO算法进行优化，确保了模型在LIBERO-PRO基准上的高成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO-PRO基准上，SynthDemo-RL成功挽救了所有27个任务，平均成功率达到97.8%和97.1%。相比于传统方法，SynthDemo-RL在没有新的人类演示的情况下，显著提升了模型的成功率，展示了其强大的学习能力。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化控制和人机交互等。通过减少对人类演示的依赖，SynthDemo-RL可以在更广泛的任务中实现高效的学习和适应，推动智能系统的自主性和灵活性。

📄 摘要（原文）

Fine-tuning Vision-Language-Action (VLA) models commonly relies on human teleoperation demonstrations, while reinforcement learning (RL) with sparse binary rewards faces an exploration challenge when successful trajectories are rarely sampled. We propose SynthDemo-RL, a teacher-student framework in which an automated teacher converts simulator-privileged state into successful manipulation trajectories, a VLA student is distilled from them by supervised fine-tuning (SFT), and PPO with binary task-success rewards refines the student. We study reward coverage, the fraction of tasks for which at least one success is observed under the fixed evaluation protocol, as a complement to the average success rate. On LIBERO-PRO, a public benchmark of perturbed LIBERO tasks for which no demonstrations exist, 27 of 57 scored tasks are at exactly 0% success for a pi_0.5 policy fine-tuned on the original LIBERO tasks. Direct PPO from this policy, under the same PPO recipe and the same RL compute as SynthDemo-RL's refinement stage, rescues 10 of these 27 tasks and leaves 17 at 0%. SynthDemo-RL, with 50 synthesized trajectories per task and no new human demonstrations, rescues all 27 and reaches average success rates of 97.8% and 97.1% on the Position and Task axes of LIBERO-PRO, respectively. On standard LIBERO, the same pipeline reaches 96.0% with no human demonstrations, within 1.7 points of pi_0.5 trained on 50 human demonstrations per task. We further validate the pipeline on RoboTwin 2.0 and verify that trajectories from a policy trained in a MuJoCo twin execute open-loop on a physical robot.