On the Limits of Tabular Hardness Metrics for Deep RL: A Study with the Pharos Benchmark

📄 arXiv: 2509.17092v1 📥 PDF

作者: Michelangelo Conserva, Remo Sasso, Paulo Rauber

分类: cs.LG

发布日期: 2025-09-21

💡 一句话要点

研究表明表格型硬度指标难以有效评估深度强化学习环境难度，并提出Pharos基准。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 基准测试 表征学习 环境难度 表格型指标

📋 核心要点

  1. 现有深度强化学习基准缺乏理论支撑，依赖经验和直觉，无法有效评估环境难度。
  2. 论文核心思想是揭示了表征硬度对深度强化学习环境难度的影响，表格型硬度指标无法有效衡量。
  3. 论文提出了Pharos基准测试库，可以系统控制环境结构和智能体表征，用于研究表征硬度。

📝 摘要（中文）

在深度强化学习(RL)领域，有原则的评估对于发展至关重要，但它落后于表格型RL中理论驱动的基准。表格型设置受益于MDP直径和次优性差距等完善的硬度度量，而深度RL基准通常基于直觉和受欢迎程度选择。这提出了一个关键问题：表格型硬度指标能否适用于指导非表格型基准测试？我们研究了这个问题，并揭示了一个根本性的差距。我们的主要贡献是证明了非表格型环境的难度主要由表格型指标忽略的因素决定：表征硬度。同一个底层MDP，根据智能体接收的是状态向量还是基于像素的观测，会带来截然不同的挑战。为了实现这一分析，我们引入了 exttt{pharos}，这是一个新的开源库，用于有原则的RL基准测试，可以系统地控制环境结构和智能体表征。我们使用 exttt{pharos}进行的大量案例研究表明，虽然表格型指标提供了一些见解，但它们本身并不能很好地预测深度RL智能体性能。这项工作强调了对新的、感知表征的硬度度量的迫切需求，并将 exttt{pharos}定位为开发这些度量的关键工具。

🔬 方法详解

问题定义：现有深度强化学习(DRL)的基准测试环境选择缺乏理论依据，通常依赖于经验和直觉，而表格型强化学习中存在一些成熟的硬度指标（如MDP直径、次优性差距）可以指导环境选择。问题在于，这些表格型硬度指标是否适用于评估DRL环境的难度？现有方法忽略了表征方式对环境难度的影响，例如，同一个底层MDP，使用状态向量和像素观测作为输入，对智能体的学习难度是不同的。

核心思路：论文的核心思路是强调表征硬度在DRL环境难度评估中的重要性。通过控制环境结构和智能体表征，研究表格型硬度指标和表征硬度对DRL智能体性能的影响。论文认为，表征方式对DRL环境的难度有显著影响，而表格型硬度指标无法有效捕捉这种影响。

技术框架：论文提出了一个名为Pharos的开源基准测试库，用于系统地控制环境结构和智能体表征。Pharos允许研究人员创建具有不同MDP结构和不同表征方式的环境，并评估DRL智能体在这些环境中的性能。通过在Pharos上进行大量的实验，论文分析了表格型硬度指标和表征硬度对DRL智能体性能的影响。

关键创新：论文最重要的技术创新点在于揭示了表征硬度对DRL环境难度的重要性，并证明了表格型硬度指标无法有效预测DRL智能体的性能。这挑战了现有DRL基准测试的范式，并强调了开发新的、感知表征的硬度度量的必要性。

关键设计：Pharos的关键设计在于其灵活性和可控性。它允许研究人员：1) 创建具有不同MDP结构的环境，例如，不同的状态空间大小、转移概率和奖励函数；2) 使用不同的表征方式，例如，状态向量、像素观测、函数近似等；3) 评估DRL智能体在这些环境中的性能，并分析表格型硬度指标和表征硬度对性能的影响。论文没有具体给出参数设置、损失函数、网络结构等细节，而是侧重于框架的搭建和实验分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过Pharos基准库进行了大量的实验，结果表明，表格型硬度指标对深度强化学习智能体的性能预测能力较差。即使在相同的底层MDP下，不同的表征方式也会导致智能体性能的显著差异。这些实验结果强调了表征硬度在深度强化学习环境难度评估中的重要性，并为未来的研究方向提供了指导。

🎯 应用场景

该研究成果可应用于深度强化学习算法的基准测试和性能评估，帮助研究人员更有效地选择和设计测试环境。Pharos基准库能够促进新的、感知表征的硬度度量的开发，从而推动深度强化学习领域的进步。此外，该研究对于理解表征学习在强化学习中的作用具有重要意义。

📄 摘要（原文）

Principled evaluation is critical for progress in deep reinforcement learning (RL), yet it lags behind the theory-driven benchmarks of tabular RL. While tabular settings benefit from well-understood hardness measures like MDP diameter and suboptimality gaps, deep RL benchmarks are often chosen based on intuition and popularity. This raises a critical question: can tabular hardness metrics be adapted to guide non-tabular benchmarking? We investigate this question and reveal a fundamental gap. Our primary contribution is demonstrating that the difficulty of non-tabular environments is dominated by a factor that tabular metrics ignore: representation hardness. The same underlying MDP can pose vastly different challenges depending on whether the agent receives state vectors or pixel-based observations. To enable this analysis, we introduce \texttt{pharos}, a new open-source library for principled RL benchmarking that allows for systematic control over both environment structure and agent representations. Our extensive case study using \texttt{pharos} shows that while tabular metrics offer some insight, they are poor predictors of deep RL agent performance on their own. This work highlights the urgent need for new, representation-aware hardness measures and positions \texttt{pharos} as a key tool for developing them.