OOD-RL-Bench: A Benchmark Framework for Out-of-Distribution Detection in Reinforcement Learning

📄 arXiv: 2607.12523v1 📥 PDF

作者: Emil Mittag, Richard Dazeley, Peter Vamplew

分类: cs.LG, cs.AI

发布日期: 2026-07-14

备注: 21 pages, 2 figures

💡 一句话要点

提出OOD-RL-Bench以解决强化学习中的分布外检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 分布外检测 强化学习 异常检测 深度Q网络 动态环境 基准框架 性能评估

📋 核心要点

  1. 现有的OOD检测基准主要针对图像分类器，未能有效处理强化学习中的复杂时间结构和动态环境变化。
  2. 本文提出了OOD-RL-Bench框架，专门用于评估RL轨迹中的OOD检测器，支持多种异常类型的注入和评估。
  3. 通过在LunarLander-v3环境中进行实验，发现不同异常类型的检测性能差异显著，观察扰动识别准确率高，而观察延迟检测仍具挑战性。

📝 摘要（中文）

可靠的强化学习（RL）代理必须在传感器故障、动态干扰和环境缓慢变化的情况下保持操作完整性。检测分布外（OOD）条件对于判断代理的观察、转移或轨迹动态何时偏离其策略训练的假设至关重要。现有的OOD检测基准通常评估图像分类器或静态低维数据集，未能考虑RL轨迹中固有的复杂、依赖于动作的时间结构。为了解决这一问题，本文提出了OOD-RL-Bench，这是一个全面且可扩展的框架，旨在评估针对RL轨迹中注入的异常类别的OOD检测器。我们使用LunarLander-v3环境中的深度Q网络策略评估该框架的实用性，并通过多种指标分析检测器的性能。我们的分析显示，不同异常类型的性能差异显著，观察扰动和状态切换被多种方法高准确度识别，而观察延迟和动作条件动态则仍然困难。

🔬 方法详解

问题定义：本文旨在解决强化学习中分布外检测的不足，现有方法未能有效处理RL环境中的动态和时间依赖性问题。

核心思路：提出OOD-RL-Bench框架，通过注入多种异常类型到RL轨迹中，评估OOD检测器的性能，允许新方法的集成而无需修改核心基准。

技术框架：框架包括异常注入模块、检测器模块和评估模块，采用共享接口和配置，支持多种评分方法和扰动类型的评估。

关键创新：最重要的创新在于开发了一个专门针对RL轨迹的OOD检测基准，填补了现有基准在动态环境下的空白。

关键设计：框架设计中包括了多种评估指标，如匹配时间的AUROC、AUPRC和假阳性率等，确保全面评估检测器性能。实验中使用的深度Q网络策略和环境设置也被详细记录。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，针对观察扰动和状态切换的检测方法表现出高准确率，而观察延迟和动作条件动态的检测仍然面临挑战。具体而言，某些检测器在观察扰动上达到了显著的性能提升，AUROC指标表现优异。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和智能监控等，能够提升系统在面对异常情况时的鲁棒性和安全性。未来，OOD-RL-Bench框架可为强化学习领域的研究提供标准化的评估工具，推动相关技术的发展与应用。

📄 摘要（原文）

Reliable reinforcement learning (RL) agents must maintain operational integrity amidst sensor malfunctions, dynamic disturbances, and slow environmental shifts. The detection of out-of-distribution conditions is pivotal to determining when an agent's observations, transitions, or trajectory dynamics deviate from the assumptions underpinning its policy training. Current out-of-distribution (OOD) detection benchmarks typically evaluate image classifiers or static low-dimensional datasets, failing to account for the complex, action-dependent temporal structure inherent in RL trajectories. To address this gap, we present OOD-RL-Bench, a comprehensive and extensible framework designed to evaluate OOD detectors against categories of anomalies injected into RL trajectories. Detectors and anomaly injectors are integrated through shared interfaces and configuration, which allows new scoring methods and perturbation families to be evaluated without modification of the core benchmark loop. We evaluate the utility of the framework using a Deep Q-Network policy within the LunarLander-v3 environment. We assess the performance of each detector across a suite of anomaly types using matched-time AUROC, matched-time AUPRC, matched-time false-positive rate, detection delay, and segmented-onset metrics. Our analysis reveals significant performance variance across anomaly types: observation perturbations and regime switches are identified with high accuracy by several methods, while observation delay and action-conditioned dynamics remain difficult even when post-onset anomaly scores are compared against clean scores from the same timesteps. We make the framework, trained policy checkpoint, and complete results publicly available as a reproducible artefact.