Chebyshev Policies and the Mountain Car Problem: Reinforcement Learning for Low-Dimensional Control Tasks

📄 arXiv: 2605.22305v1 📥 PDF

作者: Stefan Huber, Hannes Unger, Georg Schäfer, Jakob Rehrl

分类: cs.LG

发布日期: 2026-05-21

备注: ICML 2026 Spotlight Paper

💡 一句话要点

提出基于切比雪夫多项式的强化学习策略，显著提升低维控制任务性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 低维控制 切比雪夫多项式 策略优化 Mountain Car问题

📋 核心要点

  1. 现有强化学习方法在解决低维控制问题时，虽然取得了进展，但与理论最优解之间仍存在较大差距，效率和可解释性有待提升。
  2. 论文提出切比雪夫策略，利用切比雪夫多项式构建策略函数，旨在提供一种更简单、高效且可解释的强化学习策略。
  3. 实验表明，切比雪夫策略在多个低维控制任务中，性能优于基于神经网络的策略，同时显著减少了参数量，提升了样本效率。

📝 摘要（中文）

本文解析地解决了强化学习中的经典基准问题——Mountain Car问题，并在36年后首次推导出最优控制解。由此揭示了两个令人惊讶的发现：最优控制策略非常简单，但现代强化学习智能体与最优解之间存在巨大差距。受最优控制分析的启发，我们从第一性原理出发，引入切比雪夫策略作为一种通用的（即稠密的）强化学习策略类。它可以作为神经网络的直接替代品进行训练，在参数量减少277倍的同时，将遗憾值降低4.18倍，从而提高样本效率、可解释性和实时性。切比雪夫策略在包括真实世界非线性运动控制测试平台在内的其他强化学习任务中进行了评估，始终优于使用PPO、ARS和REINFORCE的神经网络。结果表明，对于低维控制任务，切比雪夫策略提供了一种引人注目的轻量级替代方案或对神经网络的补充。

🔬 方法详解

问题定义：论文旨在解决低维控制任务中，现有强化学习方法（特别是基于神经网络的方法）存在的参数量大、样本效率低、可解释性差以及与最优解存在差距的问题。Mountain Car问题作为一个经典的强化学习基准，被用来分析现有方法的不足。

核心思路：论文的核心思路是利用切比雪夫多项式来构建强化学习策略函数。切比雪夫多项式具有良好的逼近性质，可以用较少的参数表达复杂的函数关系，从而提高样本效率和可解释性。通过分析Mountain Car问题的最优解，作者发现最优控制策略相对简单，这进一步验证了使用简单函数逼近策略的可行性。

技术框架：该方法的技术框架主要包括以下几个步骤：1) 分析目标控制任务，特别是Mountain Car问题，推导出最优控制策略；2) 基于切比雪夫多项式构建策略函数，该策略函数直接将状态映射到动作；3) 使用现有的强化学习算法（如PPO、ARS、REINFORCE）训练切比雪夫策略，优化策略函数的参数；4) 在不同的控制任务中评估切比雪夫策略的性能，并与基于神经网络的策略进行比较。

关键创新：论文最重要的技术创新点在于提出了使用切比雪夫多项式作为强化学习策略函数的思想。与传统的神经网络策略相比，切比雪夫策略具有参数量少、可解释性强、易于训练等优点。此外，论文还首次解析地解决了Mountain Car问题，为评估强化学习算法的性能提供了一个新的基准。

关键设计：切比雪夫策略的关键设计在于选择合适的切比雪夫多项式的阶数和系数。策略函数的形式为状态的切比雪夫多项式的线性组合，系数是需要学习的参数。损失函数采用标准的强化学习损失函数，如策略梯度损失或优势函数损失。在实验中，作者探索了不同阶数的切比雪夫多项式对性能的影响，并选择了合适的阶数以平衡性能和复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，切比雪夫策略在Mountain Car问题中，能够以更少的参数量（减少277倍）达到比神经网络更好的性能（遗憾值降低4.18倍）。在其他控制任务中，切比雪夫策略也 consistently 优于使用PPO、ARS和REINFORCE训练的神经网络。这些结果表明，切比雪夫策略是一种有效的低维控制策略。

🎯 应用场景

该研究成果可应用于各种低维控制任务，例如机器人运动控制、无人机姿态控制、车辆路径规划等。由于切比雪夫策略具有参数量少、实时性好的特点，因此特别适用于资源受限的嵌入式系统和实时控制系统。此外，其可解释性强的特点也有助于提高控制系统的安全性和可靠性。

📄 摘要（原文）

We analytically solve the Mountain Car problem, a canonical benchmark in RL, and derive an optimal control solution, closing a gap after 36 years. This enables us to reveal two surprising insights: The optimal control is quite simple, yet modern RL agents display a large gap to optimality. Motivated by the analysis of the optimal control, we introduce Chebyshev policies as a universal (i.e. dense) class of RL policies from first principles. They can be trained as drop-in replacements of neural nets, reducing the regret by a factor of 4.18, while requiring 277 times fewer parameters, fostering sample efficiency, explainability and realtime capability. Chebyshev policies are evaluated on further RL tasks, including a real-world nonlinear motion control testbed. They consistently improve performance over neural nets with PPO, ARS and REINFORCE. Our results demonstrate how Chebyshev policies offer a compelling and lightweight alternative or addition to neural nets for low-dimensional control tasks.