GRPOformer: Advancing Hyperparameter Optimization via Group Relative Policy Optimization

📄 arXiv: 2509.17105v1 📥 PDF

作者: Haoxin Guo, Jiawen Pan, Weixin Zhai

分类: cs.LG

发布日期: 2025-09-21

💡 一句话要点

GRPOformer：通过群组相对策略优化提升超参数优化性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超参数优化 强化学习 Transformer 群组相对策略优化 策略震荡正则化

📋 核心要点

  1. 现有基于Transformer的超参数优化方法依赖大量历史数据，且缺乏有效的强化学习技术，导致效率和性能受限。
  2. GRPOformer结合Transformer和强化学习，利用GRPO快速构建轨迹并学习优化策略，从而提升超参数优化效率。
  3. 实验结果表明，GRPOformer在OpenML的多个任务中超越了现有基线方法，验证了其有效性。

📝 摘要（中文）

超参数优化（HPO）在提升模型性能方面起着至关重要的作用。基于Transformer的HPO方法展现出巨大的潜力；然而，现有方法严重依赖大规模的历史优化轨迹，并且缺乏有效的强化学习（RL）技术，从而限制了它们的效率和性能提升。受到群组相对策略优化（GRPO）在大型语言模型（LLM）中取得成功的启发，我们提出了GRPOformer——一种将强化学习（RL）与Transformer相结合的新型超参数优化框架。在GRPOformer中，Transformer被用于从历史优化轨迹中生成新的超参数配置，而GRPO则能够从头开始快速构建轨迹和学习优化策略。此外，我们引入了策略震荡正则化（PCR）来增强GRPO训练的稳定性。在OpenML上的实验结果表明，GRPOformer在各种任务中始终优于基线方法，为RL在HPO中的应用提供了新的见解。

🔬 方法详解

问题定义：论文旨在解决超参数优化（HPO）中现有方法效率和性能受限的问题。现有基于Transformer的HPO方法虽然有潜力，但过度依赖大规模历史优化轨迹，并且缺乏有效的强化学习（RL）技术来指导优化过程，导致难以快速找到最优超参数配置。

核心思路：论文的核心思路是将群组相对策略优化（GRPO）引入到基于Transformer的HPO框架中。GRPO能够从头开始快速构建优化轨迹并学习优化策略，从而克服了现有方法对大量历史数据的依赖。同时，利用Transformer从历史轨迹中学习，生成新的超参数配置。

技术框架：GRPOformer的整体框架包含以下几个主要模块：1) Transformer模块，用于从历史优化轨迹中学习并生成新的超参数配置；2) GRPO模块，用于快速构建优化轨迹并学习优化策略；3) 策略震荡正则化（PCR）模块，用于增强GRPO训练的稳定性。整个流程是：首先，Transformer基于历史轨迹生成候选超参数配置；然后，GRPO利用这些配置进行实验并构建新的优化轨迹；最后，PCR用于稳定GRPO的训练过程，防止策略震荡。

关键创新：论文最重要的技术创新点在于将GRPO成功地应用于超参数优化领域。与现有方法相比，GRPOformer不需要预先收集大量历史数据，而是能够从头开始学习优化策略，从而提高了优化效率。此外，PCR的引入进一步增强了训练的稳定性。

关键设计：在Transformer模块中，采用了标准的Transformer架构，并使用历史优化轨迹作为输入进行训练。在GRPO模块中，采用了相对策略优化方法，通过比较不同超参数配置的性能来学习优化策略。PCR通过对策略更新幅度进行惩罚，来防止策略震荡。具体的损失函数设计和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GRPOformer在OpenML的多个任务中始终优于基线方法。具体来说，GRPOformer在某些任务上取得了显著的性能提升，证明了其在超参数优化方面的有效性。论文中提供了详细的实验数据和对比结果，支持了GRPOformer的优越性。

🎯 应用场景

GRPOformer具有广泛的应用前景，可以应用于各种机器学习模型的超参数优化，例如深度神经网络、支持向量机、随机森林等。该方法可以显著提升模型性能，减少人工调参的工作量，并加速模型开发过程。此外，GRPOformer还可以应用于其他优化问题，例如自动机器学习（AutoML）和神经架构搜索（NAS）。

📄 摘要（原文）

Hyperparameter optimization (HPO) plays a critical role in improving model performance. Transformer-based HPO methods have shown great potential; however, existing approaches rely heavily on large-scale historical optimization trajectories and lack effective reinforcement learning (RL) techniques, thereby limiting their efficiency and performance improvements. Inspired by the success of Group Relative Policy Optimization (GRPO) in large language models (LLMs), we propose GRPOformer -- a novel hyperparameter optimization framework that integrates reinforcement learning (RL) with Transformers. In GRPOformer, Transformers are employed to generate new hyperparameter configurations from historical optimization trajectories, while GRPO enables rapid trajectory construction and optimization strategy learning from scratch. Moreover, we introduce Policy Churn Regularization (PCR) to enhance the stability of GRPO training. Experimental results on OpenML demonstrate that GRPOformer consistently outperforms baseline methods across diverse tasks, offering new insights into the application of RL for HPO.