CRoSS: A Continual Robotic Simulation Suite for Scalable Reinforcement Learning with High Task Diversity and Realistic Physics Simulation
作者: Yannick Denker, Alexander Gepperth
分类: cs.LG, cs.AI
发布日期: 2026-02-04
💡 一句话要点
提出CRoSS：一个可扩展的、高任务多样性和真实物理仿真的持续机器人学习平台。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 持续强化学习 机器人仿真 Gazebo 基准测试 任务多样性 物理仿真 机器人学习
📋 核心要点
- 持续强化学习面临在序列任务中学习，同时避免遗忘先前策略的挑战，缺乏统一且真实的机器人仿真环境。
- CRoSS通过Gazebo仿真器，提供两轮机器人和机械臂平台，涵盖视觉、运动和物理交互等多样化任务。
- CRoSS提供容器化部署和标准RL算法的性能基线，旨在促进可重复的研究，并支持灵活的任务扩展和传感器配置。
📝 摘要（中文）
本文介绍了一个基于Gazebo仿真器的、用于持续强化学习(CRL)的新型基准测试套件。该Continual Robotic Simulation Suite (CRoSS)基准测试依赖于两个机器人平台：一个带有激光雷达、相机和碰撞传感器的两轮差速驱动机器人，以及一个七自由度机械臂。前者用于循线和物体推移场景，通过改变视觉和结构参数产生大量不同的任务；后者用于两个目标到达场景，分别使用基于笛卡尔手部位置的高级控制（模仿Continual World基准）和基于关节角度的低级控制。对于机械臂基准测试，我们提供了额外的仅运动学变体，无需物理仿真（只要不需要传感器读数），并且可以快两个数量级地运行。CRoSS旨在易于扩展，并支持在具有高物理真实感的机器人环境中进行受控的持续强化学习研究，尤其允许使用几乎任意的模拟传感器。为了确保可重复性和易用性，我们提供了一个容器化设置（Apptainer），可以开箱即用，并报告了包括深度Q网络（DQN）和策略梯度方法在内的标准RL算法的性能。这突出了其作为CRL研究的可扩展和可重复基准的适用性。
🔬 方法详解
问题定义：现有的持续强化学习研究缺乏一个统一的、可扩展的、具有高任务多样性和真实物理仿真的机器人基准测试平台。已有的平台在任务多样性、物理真实性或可扩展性方面存在局限性，难以充分评估和比较不同的持续学习算法。
核心思路：CRoSS的核心思路是构建一个基于Gazebo仿真器的机器人持续学习平台，该平台提供两个具有代表性的机器人平台（两轮机器人和机械臂），并设计了多个具有挑战性的任务场景，通过参数化任务设置和提供仅运动学变体，实现任务多样性和可扩展性，同时保证物理仿真的真实性。
技术框架：CRoSS平台主要包含以下几个模块：1) 基于Gazebo的机器人仿真环境，包括两轮机器人和七自由度机械臂的物理模型和传感器模型；2) 任务定义模块，包括循线、物体推移和目标到达等任务场景，并支持任务参数的灵活配置；3) 评估模块，用于评估持续学习算法在不同任务序列上的性能；4) 容器化部署模块，提供Apptainer容器，方便用户快速部署和运行平台。
关键创新：CRoSS的关键创新在于：1) 提出了一个具有高任务多样性和真实物理仿真的机器人持续学习基准测试平台；2) 提供了仅运动学变体，可以在无需物理仿真的情况下快速运行，显著提高了实验效率；3) 提供了容器化部署，方便用户快速部署和运行平台，保证了实验的可重复性。
关键设计：CRoSS的关键设计包括：1) 任务参数化：通过改变视觉和结构参数，生成大量不同的任务；2) 仅运动学变体：对于机械臂任务，提供了仅运动学变体，无需物理仿真，可以快两个数量级地运行；3) 传感器配置：支持几乎任意的模拟传感器，方便研究者探索不同传感器配置下的持续学习性能。
🖼️ 关键图片
📊 实验亮点
论文报告了在CRoSS平台上使用DQN和策略梯度等标准RL算法的性能。仅运动学变体可以比物理仿真快两个数量级运行，显著提升了实验效率。这些结果为持续强化学习算法在真实机器人环境中的应用提供了有价值的基准。
🎯 应用场景
CRoSS可应用于机器人持续学习算法的开发与评估，推动机器人自主导航、操作和人机协作等领域的发展。该平台能够帮助研究人员设计更鲁棒、适应性更强的机器人学习系统，使其能够在不断变化的环境中持续学习和适应新任务，最终实现机器人在现实世界中的广泛应用。
📄 摘要（原文）
Continual reinforcement learning (CRL) requires agents to learn from a sequence of tasks without forgetting previously acquired policies. In this work, we introduce a novel benchmark suite for CRL based on realistically simulated robots in the Gazebo simulator. Our Continual Robotic Simulation Suite (CRoSS) benchmarks rely on two robotic platforms: a two-wheeled differential-drive robot with lidar, camera and bumper sensor, and a robotic arm with seven joints. The former represent an agent in line-following and object-pushing scenarios, where variation of visual and structural parameters yields a large number of distinct tasks, whereas the latter is used in two goal-reaching scenarios with high-level cartesian hand position control (modeled after the Continual World benchmark), and low-level control based on joint angles. For the robotic arm benchmarks, we provide additional kinematics-only variants that bypass the need for physical simulation (as long as no sensor readings are required), and which can be run two orders of magnitude faster. CRoSS is designed to be easily extensible and enables controlled studies of continual reinforcement learning in robotic settings with high physical realism, and in particular allow the use of almost arbitrary simulated sensors. To ensure reproducibility and ease of use, we provide a containerized setup (Apptainer) that runs out-of-the-box, and report performances of standard RL algorithms, including Deep Q-Networks (DQN) and policy gradient methods. This highlights the suitability as a scalable and reproducible benchmark for CRL research.