The Shape of the DPO Hyperparameter Landscape: What to Measure, How It Moves with Scale, and When Not to Transfer It

📄 arXiv: 2610.27895v1 📥 PDF

作者: Hannan Mahadik, David Salinas, Jacek Golebiowski, Aaron Klein

分类: cs.LG, cs.AI

发布日期: 2026-10-20

💡 一句话要点

研究DPO超参数景观以优化语言模型后训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 直接偏好优化 超参数优化 语言模型 模型训练 性能评估 机器学习

📋 核心要点

  1. DPO的性能受超参数选择影响显著，现有方法未能有效解决超参数优化的问题。
  2. 通过密集超参数网格实验，分析超参数如何随模型规模变化，提出了针对特定模型和数据集的调优策略。
  3. 实验表明最佳学习率与模型规模相关，验证损失与下游基准的最佳超参数相关性较弱，短期训练可降低选择成本。

📝 摘要（中文）

直接偏好优化（DPO）在语言模型后训练中广泛应用，但其性能强烈依赖于超参数的选择，如学习率和参考策略正则化参数β。为更好地理解DPO超参数景观，本文通过在不同模型规模下进行密集的超参数网格实验，分析了最佳DPO超参数如何随模型大小和更新步数演变。我们还评估了模型在静态和动态基准上的表现，识别出哪些基准对超参数选择提供了最强信号。实验结果表明，最佳学习率随模型规模变化，且超参数不能跨训练数据集转移，验证损失对超参数优化的指示作用较弱，因此需要针对特定模型、数据集和评估目标进行超参数调优。我们还展示了短期候选训练运行可以显著降低选择成本，并发布了所有训练配置和评估结果以支持可重复性分析。

🔬 方法详解

问题定义：本文旨在解决直接偏好优化（DPO）中超参数选择对模型性能影响的问题。现有方法在超参数优化上存在不足，导致模型在不同数据集上的表现不佳。

核心思路：通过在不同模型规模下进行密集的超参数网格实验，分析超参数如何随模型大小和更新步数演变，从而提出针对特定模型和数据集的调优策略。

技术框架：整体流程包括超参数网格搜索、模型训练、性能评估和超参数选择四个主要模块。通过在静态和动态基准上评估模型，识别出最有效的超参数选择信号。

关键创新：最重要的创新在于发现最佳学习率随模型规模变化，并且超参数不能跨训练数据集转移。这一发现与现有方法的普遍假设形成对比。

关键设计：在超参数设置中，特别关注学习率和正则化参数β的选择，采用中间检查点以加速超参数优化过程，并通过短期候选训练运行降低选择成本。实验结果表明，验证损失并不是超参数优化的良好代理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳学习率随着模型规模的变化而变化，且超参数在不同训练数据集之间不可转移。验证损失与下游基准的最佳超参数相关性较弱，表明需要针对特定任务进行调优。短期候选训练运行显著降低了选择成本，提升了超参数优化的效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够为语言模型的后训练提供更有效的超参数优化策略。通过优化超参数选择，能够提升模型在特定任务上的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Direct preference optimisation (DPO) is widely used for language model post-training, but its performance depends strongly on the choice of its hyperparameters, such as the learning rate and the reference-policy regularisation parameter $β$. To better understand the DPO hyperparameter landscape, we conduct extensive experiments using a dense hyperparameter grid across different model scales from the same family. This allows us to analyse how the optimal DPO hyperparameters evolve with model size and the number of update steps, with intermediate checkpoints providing an inexpensive signal to accelerate the hyperparameter optimisation process. Furthermore, by evaluating our models on both static and dynamic benchmarks, we identify which benchmarks provide the strongest signal for hyperparameter selection. Finally, we investigate how different state-of-the-art hyperparameter optimisation strategies perform in this setting. Our experiments show that the optimal learning rate varies with model size and that hyperparameters are not transferable across training datasets. We also find that validation loss is a poor proxy for hyperparameter optimisation, as hyperparameters that minimize validation loss only weakly correlate with optimal hyperparameters for downstream benchmarks. Therefore, DPO hyperparameters need to be tuned specifically for the target model, dataset, and evaluation objective. We also show that short candidate training runs can substantially reduce the cost of this selection. We release all our training configurations and evaluation results to support reproducible analysis of selection quality and training cost.