Prompt-Driven Exploration

📄 arXiv: 2607.08837v1 📥 PDF

作者: Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong

分类: cs.LG, cs.AI

发布日期: 2026-07-09

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出基于提示驱动的探索方法以解决强化学习中的稀疏奖励问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 探索策略 视觉-语言模型 提示优化 稀疏奖励 样本效率 机器人操控 智能决策

📋 核心要点

  1. 现有强化学习方法在面对稀疏奖励时，难以有效探索，导致学习效率低下。
  2. 论文提出通过视觉-语言模型从轨迹中提炼提示，进而引导策略改进，形成提示驱动探索机制。
  3. 实验结果表明，PDE方法在多种操控和推理任务中显著提升了样本效率，能够从零奖励开始学习成功策略。

📝 摘要（中文）

探索在强化学习中至关重要，因为策略无法通过重复采样已有偏好的行为来改进。标准方法在动作空间中注入随机性，但这种抖动只能产生接近原始策略的轨迹。要逃脱弱策略，通常需要全局扰动，而动作噪声无法实现。大型语言模型和视觉-语言-动作模型为此提供了一条路径：它们根据自然语言提示来调节策略，修改提示会引发全局变化。本文提出的提示驱动探索（PDE）方法，通过从轨迹中提炼提示，利用视觉-语言模型对轨迹视频进行推理，诊断策略响应并重写提示，从而实现更好的行为。PDE在操控和推理任务中，即使从零奖励开始也能学习成功的策略，并广泛提高样本效率。

🔬 方法详解

问题定义：本文旨在解决强化学习中由于奖励稀疏导致的探索效率低下问题。现有方法通过在动作空间中引入随机性，无法实现有效的全局探索，导致学习停滞。

核心思路：论文提出的提示驱动探索（PDE）方法，通过利用视觉-语言模型（VLM）从轨迹中提炼和优化提示，进而引导策略的改进。这种方法能够实现全局变化，克服传统方法的局限。

技术框架：PDE的整体架构包括三个主要模块：首先，使用VLM对轨迹视频进行分析，诊断策略的表现；其次，基于分析结果重写提示；最后，利用更新后的提示进行新的策略探索。

关键创新：PDE的核心创新在于将后验采样的思想应用于提示的优化，VLM在观察到的轨迹中维护有用提示的隐式分布，并根据反馈进行更新。这一方法与传统的随机性注入方法本质上不同，能够实现更有效的探索。

关键设计：在设计中，VLM的网络结构和损失函数经过精心调整，以确保其能够有效地从轨迹中提取信息并优化提示。此外，参数设置也经过实验验证，以实现最佳的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PDE方法在多个操控和推理任务中表现优异，能够在零奖励起始条件下成功学习策略，样本效率提升幅度达到显著水平，具体性能数据未提供，但相较于基线方法有明显改善。

🎯 应用场景

该研究的潜在应用领域包括机器人操控、自动驾驶、智能助手等场景，能够显著提高在复杂环境中的决策能力和学习效率。未来，PDE方法有望推动强化学习在实际应用中的广泛落地，提升智能系统的自主学习能力。

📄 摘要（原文）

Exploration is essential to RL since a policy cannot improve by repeatedly sampling the behaviors it already prefers. Standard methods inject stochasticity in the action space, but such jitter only yields rollouts close to the original. Escaping a weak policy often requires global perturbations that action noise cannot produce. Large language models (LLMs) and vision-language-action (VLA) models offer a pathway: they condition the policy on a natural language prompt, and since the rollout follows from it, modifying the prompt induces global changes. The challenge is finding prompts that induce useful global changes. With a weak policy that rarely succeeds, reward is too sparse to select on. Our idea is to refine prompts from the rollouts themselves: a vision-language model (VLM) reasons over the rollout video, diagnoses how the policy responded, and rewrites the prompt to elicit better behavior next time. This procedure realizes posterior sampling, a classical RL exploration framework, at the level of prompts: the VLM maintains an implicit distribution over useful prompts and updates it from observed rollouts. We call this strategy Prompt-Driven Exploration (PDE). Across manipulation and reasoning tasks, PDE enables RL to learn successful policies even from zero-reward starts, and improves sample efficiency more broadly. Our website is available at https://xinyunsunshine.github.io/prompt-rl.