Nonconvex Regularization for Feature Selection in Reinforcement Learning

📄 arXiv: 2509.15652v1 📥 PDF

作者: Kyohei Suzuki, Konstantinos Slavakis

分类: cs.LG

发布日期: 2025-09-19

💡 一句话要点

提出基于非凸正则化的强化学习特征选择算法，提升高噪声环境下的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 特征选择 非凸正则化 PMC惩罚 LSTD FRBS 策略评估

📋 核心要点

  1. 传统正则化方法在强化学习特征选择中存在估计偏差，影响性能。
  2. 采用非凸PMC惩罚正则化贝尔曼残差目标，减轻估计偏差并诱导稀疏性。
  3. 通过实验验证，该方法在含噪特征场景下显著优于现有特征选择方法。

📝 摘要（中文）

本文提出了一种高效的批量强化学习特征选择算法，并提供了理论收敛保证。为了减轻传统正则化方案中固有的估计偏差，本文的第一个贡献是通过使用稀疏性诱导的非凸投影极小极大凹（PMC）惩罚正则化的贝尔曼残差目标，扩展了经典最小二乘时间差分（LSTD）框架内的策略评估。由于PMC惩罚的弱凸性，这种公式可以解释为一般非单调包含问题的一个特例。第二个贡献是为前向-反射-后向分裂（FRBS）算法建立新的收敛条件，以解决这类问题。在基准数据集上的数值实验表明，所提出的方法显著优于最先进的特征选择方法，尤其是在具有许多噪声特征的场景中。

🔬 方法详解

问题定义：论文旨在解决强化学习中特征选择的问题，特别是在存在大量噪声特征的情况下。现有的正则化方法，如L1正则化，虽然可以实现特征选择，但由于其凸性，往往会引入估计偏差，导致性能下降。因此，如何在保证特征选择的同时，减少估计偏差，是本论文要解决的核心问题。

核心思路：论文的核心思路是利用非凸正则化来克服传统凸正则化的局限性。具体来说，论文采用投影极小极大凹（PMC）惩罚作为正则项，因为它具有弱凸性，可以更好地逼近L0范数，从而更有效地诱导稀疏性，并减少估计偏差。

技术框架：整体框架是在最小二乘时间差分（LSTD）框架下进行策略评估。首先，构建一个贝尔曼残差目标函数，该函数衡量了策略的贝尔曼方程的满足程度。然后，将PMC惩罚项添加到目标函数中，以实现特征选择。最后，使用前向-反射-后向分裂（FRBS）算法来求解这个非凸优化问题。

关键创新：最重要的技术创新点在于使用非凸PMC惩罚进行特征选择。与传统的凸正则化方法相比，PMC惩罚可以更准确地识别和去除不相关或冗余的特征，从而提高策略评估的准确性和效率。此外，论文还为FRBS算法在解决此类非凸问题时，建立了新的收敛条件。

关键设计：PMC惩罚的具体形式需要根据具体问题进行调整。论文中可能涉及对PMC惩罚的参数进行选择，例如控制稀疏程度的参数。此外，FRBS算法的步长选择也会影响算法的收敛速度和性能。贝尔曼残差目标函数的构建也需要仔细考虑，以确保其能够准确地反映策略的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提出的方法在基准数据集上显著优于现有的特征选择方法。尤其是在存在大量噪声特征的情况下，该方法的性能提升更为明显。具体的性能数据（例如，策略评估的均方误差）和对比基线（例如，L1正则化）需要在论文中查找。总体而言，该方法在特征选择的准确性和效率方面都取得了显著的提升。

🎯 应用场景

该研究成果可应用于机器人控制、推荐系统、金融交易等领域。在这些领域中，往往存在大量的特征，但只有少数特征与任务相关。通过特征选择，可以提高学习效率，降低计算成本，并提高策略的泛化能力。未来的研究可以探索将该方法应用于更复杂的强化学习问题，例如深度强化学习。

📄 摘要（原文）

This work proposes an efficient batch algorithm for feature selection in reinforcement learning (RL) with theoretical convergence guarantees. To mitigate the estimation bias inherent in conventional regularization schemes, the first contribution extends policy evaluation within the classical least-squares temporal-difference (LSTD) framework by formulating a Bellman-residual objective regularized with the sparsity-inducing, nonconvex projected minimax concave (PMC) penalty. Owing to the weak convexity of the PMC penalty, this formulation can be interpreted as a special instance of a general nonmonotone-inclusion problem. The second contribution establishes novel convergence conditions for the forward-reflected-backward splitting (FRBS) algorithm to solve this class of problems. Numerical experiments on benchmark datasets demonstrate that the proposed approach substantially outperforms state-of-the-art feature-selection methods, particularly in scenarios with many noisy features.