Ground-Truth-First Benchmarking of Reinforcement Learning via Converse Optimality: From Smooth, Fully Observed Systems to Non-Smooth or Partially Observed Tasks
作者: Grégoire Ouerdane, Sinan Ibrahim, Stefan Streif, Pavel Osinenko
分类: cs.LG
发布日期: 2026-10-22
💡 一句话要点
提出基于反向最优性的基准测试框架以解决强化学习评估问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 基准测试 反向最优性 鲁棒性评估 非光滑系统 部分可观测任务 算法优化
📋 核心要点
- 现有的强化学习基准测试方法缺乏对最优性的直接评估，导致算法性能的比较受到多种因素的影响。
- 本文提出了一种基于反向最优性的框架，构建经过认证的最优值函数和策略，以便进行更准确的评估。
- 实验结果显示，该方法在多种任务上有效提升了算法的鲁棒性和评估的准确性，尤其是在复杂环境中。
📝 摘要（中文）
强化学习中的基准测试通常是相对的：算法在未知最优解的环境中进行排名，导致最优性距离不可观测。本文开发了一种基于反向最优性的基准测试框架，为每个任务构建经过认证的最优值函数和策略，仅用于评估。该框架统一了两种模式：敏感性基准测试和基于oracle的比较。通过在多种任务上进行实验，验证了该方法的有效性，扩展了对光滑和非光滑系统的适用性，并提供了公共项目页面上的代码和诊断工具。
🔬 方法详解
问题定义：本文旨在解决强化学习中基准测试相对性的问题，现有方法无法直接观测到最优性距离，导致评估结果受多种因素影响。
核心思路：提出基于反向最优性的框架，通过构建认证的最优值函数和策略来进行评估，确保评估的客观性和准确性。
技术框架：框架包含两个主要模块：敏感性基准测试和基于oracle的比较。敏感性基准测试从连续时间生成器中采样环境，评估任务变化的鲁棒性；而基于oracle的比较则使用原生离散时间生成器，通过最优性差距、遗憾和策略误差来评估策略。
关键创新：最重要的创新在于引入反向最优性概念，允许在光滑和非光滑系统中进行认证基准测试，特别是在处理具有拐点的值函数和切换面时。
关键设计：设计中考虑了模拟器步长（Δt）和数值方案的依赖性，确保环境、oracle和学习者在相同的转移法则下工作，消除了外部集成选择的干扰。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在多个任务上显著提升了算法的鲁棒性和评估准确性。例如，在串联平面臂和四旋翼任务中，算法的最优性差距和策略误差均有明显降低，验证了框架的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等需要高可靠性和高精度的强化学习任务。通过提供更准确的基准测试，能够帮助研究人员和工程师更有效地评估和优化算法，推动相关技术的发展。
📄 摘要（原文）
Benchmarking in reinforcement learning is usually relative: algorithms are ranked by returns on environments with unknown optima. Distance to optimality remains unobservable, while conclusions may depend on reward design, stochasticity, hyperparameters, environment selection, and simulator details. We develop a ground-truth-first framework based on converse optimality, constructing each task with a certified optimal value function and policy withheld from learners and used only for evaluation. The framework unifies two modes: sensitivity benchmarking samples certified environments from continuous-time generators to assess robustness to task variation, while oracle-referenced comparison uses native discrete-time generators to evaluate policies via optimality gap, regret, and policy error. Continuous-time models support physically interpretable sensitivity studies but introduce dependence on the simulator step ($Δt$) and numerical scheme. Native discrete-time models align the environment, oracle, and learner on the same transition law, eliminating external integration choices as a confounder. We reproduce quantitative results covering optimizer sensitivity and oracle-referenced comparisons on serial planar arms, dynamically extended nonholonomic vehicles, and quadrotor-inspired tasks. The methodology extends beyond smooth affine Gaussian systems: virtual-input pullback handles non-affine raw-action interfaces and finite-covariance non-Gaussian disturbances. A non-smooth converse optimality formulation enables certified benchmarks with kinked value functions and switching surfaces. For partially observed evaluation, an information-state formulation reduces benchmarking to converse optimality on a sufficient statistic and provides an information-penalty reference. Code, fixtures, and diagnostics are available on the public project page.