ARC-RL: A Reinforcement Learning Playground Inspired by ARC Raiders

📄 arXiv: 2605.19503v1 📥 PDF

作者: Carlo Romeo, Andrew D. Bagdanov

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-05-19

💡 一句话要点

提出ARC-RL：一个受ARC Raiders启发的强化学习腿部运动控制环境

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 腿部运动 机器人控制 游戏AI MuJoCo

📋 核心要点

  1. 现有腿部运动强化学习benchmark形态单一，缺乏游戏NPC风格的多样性与挑战。
  2. 提出ARC-RL，包含四种受游戏ARC Raiders启发的机器人形态，并设计统一的奖励函数。
  3. 实验对比了多种在线和离线-在线强化学习算法，评估了其在形态多样性环境下的性能。

📝 摘要（中文）

本文介绍ARC-RL，一套包含四个MuJoCo连续控制环境的强化学习平台，其机器人形态灵感来源于ARC Raiders游戏中的怪物：18自由度的高六足机器人Queen，12自由度的装甲六足机器人Bastion，18自由度的紧凑六足机器人Tick，以及12自由度的四足机器人Leaper。所有机器人共享统一的观测模板、动作约定、仿真节奏以及一个闭式多组件奖励函数，该函数仅通过一小组权重和参数进行形态变异。奖励融合了速度跟踪、健康生存奖励、锁相步态依从性奖励/成本对、动作正则化器、三个安全惩罚以及姿势锚定；奖励函数未使用任何动作捕捉数据。此外，我们为每种形态提供手工制作的中央模式发生器演示器，既作为固定的专家参考，又作为离线到在线训练的先验数据来源。在此平台上，我们进行了一项受控的实证研究，比较了标准在线算法（SAC、SPEQ、SOPE-EO）和使用先验数据增强的方法（SACfD、SPEQ-O2O、SOPE），并描述了每种范例如何应对平台上的形态多样性和动画风格约束。

🔬 方法详解

问题定义：现有腿部运动强化学习研究主要集中在模拟真实机器人硬件，缺乏对具有独特形态和运动风格的游戏NPC的研究。现有benchmark形态单一，难以测试算法在形态多样性上的泛化能力。

核心思路：设计一套新的强化学习环境，其机器人形态灵感来源于游戏ARC Raiders中的怪物，这些怪物具有独特的形态和运动风格，能够为强化学习算法提供更具挑战性的测试平台。同时，设计统一的奖励函数，使得不同形态的机器人可以使用相同的训练方法。

技术框架：ARC-RL包含四个MuJoCo连续控制环境，分别对应四种不同的机器人形态：Queen, Bastion, Tick, Leaper。所有机器人共享统一的观测模板、动作约定和仿真节奏。使用一个闭式多组件奖励函数，该函数包含速度跟踪、健康生存奖励、锁相步态依从性奖励/成本对、动作正则化器、三个安全惩罚以及姿势锚定。

关键创新：ARC-RL的核心创新在于其机器人形态的多样性和灵感来源。与传统的基于真实机器人硬件的benchmark不同，ARC-RL的机器人形态来源于游戏，具有独特的运动风格和挑战。此外，统一的奖励函数设计使得不同形态的机器人可以使用相同的训练方法，简化了训练流程。

关键设计：奖励函数的设计是关键。速度跟踪奖励鼓励机器人按照期望的速度运动；健康生存奖励鼓励机器人保持平衡和避免摔倒；锁相步态依从性奖励/成本对鼓励机器人学习协调的步态；动作正则化器惩罚过大的动作；安全惩罚避免机器人进入危险状态；姿势锚定则保持机器人姿势的稳定性。此外，论文还提供了手工制作的中央模式发生器演示器，作为离线到在线训练的先验数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用先验数据增强的强化学习算法（如SACfD、SPEQ-O2O、SOPE）在ARC-RL平台上表现优于标准在线算法（如SAC、SPEQ、SOPE-EO）。这表明先验数据可以有效地加速强化学习的训练过程，并提高算法的性能。具体性能数据未知，论文侧重于定性比较。

🎯 应用场景

ARC-RL可用于训练具有复杂运动技能的虚拟角色，例如游戏NPC或动画角色。该平台的多样化机器人形态和统一的奖励函数设计，有助于开发更具鲁棒性和泛化能力的强化学习算法，从而提升虚拟角色的运动表现和交互体验。此外，该平台也可用于研究不同形态机器人的运动控制策略。

📄 摘要（原文）

Reinforcement learning for legged locomotion has matured into a stack of multi-component reward functions and physics-engine benchmarks whose morphologies are uniformly derived from real commercial hardware. Game NPCs, however, are bound by stylistic constraints absent from sim-to-real robotics and routinely take the form of creatures with no real-robot counterpart. We introduce ARC-RL, a suite of four MuJoCo continuous-control environments featuring robotic morphologies inspired by the bestiary of ARC Raiders: the 18-DoF tall hexapod Queen, the 12-DoF armoured hexapod Bastion, the 18-DoF compact hexapod Tick, and the 12-DoF quadruped Leaper. All four robots share a unified observation template, action convention, simulation cadence, and a single closed-form multi-component reward function whose only per-morphology variation lives in a small set of weights and parameters. The reward fuses a velocity-tracking tent, a healthy survive bonus, a phase-locked gait-compliance bonus/cost pair, action regularisers, three safety penalties, and a posture anchor; no motion-capture data enters the reward at any point. We additionally provide hand-crafted Central Pattern Generator demonstrators per morphology, which serve both as fixed expert references and as sources of prior data for offline-to-online training. On this playground, we conduct a controlled empirical study comparing standard online algorithms (SAC, SPEQ, SOPE-EO) and methods augmented with prior data (SACfD, SPEQ-O2O, SOPE), and characterise how each paradigm copes with the playground's morphological diversity and animation-style stylistic constraints.