Bidirectional Voronoi-biased Exploration Curriculum for Reinforcement Learning

📄 arXiv: 2610.03395v1 📥 PDF

作者: Juri Pfammatter, Kaixian Qu, Clemens Schwarke, Victor Klemm, Marco Hutter

分类: cs.LG, cs.RO

发布日期: 2026-10-02

💡 一句话要点

提出双向Voronoi偏置探索课程以解决强化学习中的探索瓶颈问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 探索策略 Voronoi图 机器人导航 任务规划 样本效率 稀疏奖励

📋 核心要点

  1. 现有方法在长时间任务中面临稀疏奖励的探索瓶颈，导致学习信号缺失。
  2. 论文提出的BVER方法同时从起始状态和目标状态扩展，偏向未探索区域，提高了探索效率。
  3. 实验结果表明，BVER在多个任务中学习速度显著提升，尤其在箱子攀爬任务中表现优异。

📝 摘要（中文）

长时间任务中的稀疏奖励为目标条件强化学习带来了探索瓶颈：从初始状态开始的策略很少能达到目标并获得学习信号。参考运动、手工设计的课程和塑形奖励提供了这一信号，但需要演示或任务特定的工程；自动的起始状态和目标课程避免了这一点，但通常仅从一侧扩展，因此必须从该侧覆盖到目标的全距离。我们提出了双向Voronoi偏置探索课程（BVER），同时从两个端点扩展。BVER从目标向外扩展起始状态，从初始状态分布向外扩展目标，偏向未探索的任务空间，并引导它们相互靠近，在两个端点上训练一个目标条件策略。在点质量迷宫、四足箱子攀爬和机器人臂环在钉子转移中，BVER的学习速度超过了所有比较的无参考课程。

🔬 方法详解

问题定义：论文要解决的具体问题是长时间任务中稀疏奖励导致的探索瓶颈，现有方法通常只能从单侧扩展，无法有效覆盖目标区域。

核心思路：BVER方法的核心思路是同时从目标和起始状态扩展，利用双向探索策略，提高对未探索区域的覆盖率，从而加速学习过程。

技术框架：整体架构包括两个主要模块：一是从目标向外扩展起始状态，二是从初始状态分布向外扩展目标。两个模块相互引导，形成一个动态的探索过程。

关键创新：BVER的最重要技术创新在于双向扩展策略，这与传统的单向扩展方法本质上不同，能够更全面地探索任务空间。

关键设计：在设计中，BVER采用了特定的参数设置以平衡两个扩展方向的速度，并使用了适应性损失函数来优化学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BVER在0.4米箱子攀爬任务中以约65%的迭代次数达到了95%的成功率，且是唯一能够学习攀爬0.7米箱子的算法，展示了其在样本效率上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、以及复杂任务的强化学习训练。通过提高探索效率，BVER能够在更短的时间内实现更高的学习效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Long-horizon tasks with sparse rewards pose an exploration bottleneck for goal-conditioned reinforcement learning: a policy started from the initial state rarely reaches the goal and receives no learning signal. Reference motions, hand-designed curricula, and shaped rewards supply this signal but require demonstrations or task-specific engineering; automatic start-state and goal curricula avoid this but typically expand from one side only, so the full distance to the target must be covered from that side. We propose the Bidirectional Voronoi-biased Exploration curriculum for Reinforcement learning (BVER), which expands from both ends at once. Inspired by bidirectional RRT planning, BVER grows start states outward from the goal and goals outward from the initial state distribution, biases both toward unexplored task space, and steers them toward each other, training one goal-conditioned policy on both. On point-mass mazes, quadrupedal box climbing, and robot-arm ring-on-peg transfer, BVER learns faster than all compared reference-free curricula. On box climbing, it reaches 95% success on a 0.4 m box in roughly 65% fewer iterations than the best of them, is the only one of them to learn to climb a 0.7 m box, and yields a policy robust to start, goal, and yaw variation. Without a demonstration, it approaches the sample efficiency of reference-based curricula on the 0.4 m box and on ring-on-peg transfer. Ablations show that expanding from both ends outperforms either direction alone.