Alignment through Meta-Weighted Online Sampling: Bridging the Gap between Data Generation and Preference Optimization

📄 arXiv: 2509.23371v1 📥 PDF

作者: Junming Yang, Ning Xu, Biao Liu, Shiqi Qiao, Xin Geng

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-09-27

💡 一句话要点

提出MetaAPO，通过元加权在线采样弥合数据生成与偏好优化间的差距

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好优化 大型语言模型 元学习 在线采样 数据对齐

📋 核心要点

  1. 现有偏好优化方法难以适应模型动态学习状态，导致离线数据与在线策略间存在分布不匹配。
  2. MetaAPO通过元学习器动态评估在线采样的收益，指导在线数据生成并赋予样本元权重，平衡数据质量与分布。
  3. 实验表明，MetaAPO在多个基准测试中超越现有方法，并显著降低了在线标注成本。

📝 摘要（中文）

偏好优化对于使大型语言模型（LLMs）与人类价值观和意图对齐至关重要。这一过程中的一个重要挑战是预先收集的离线偏好数据与不断演进的模型策略之间的分布不匹配。现有方法试图使用静态启发式方法或解耦的在线采样策略来缩小这种差距，但它们通常无法适应模型的动态学习状态。为了弥合这一差距，我们提出了元加权自适应偏好优化（MetaAPO），这是一个新颖的框架，它动态地将数据生成与模型训练相结合。MetaAPO采用轻量级的元学习器，作为“对齐差距估计器”，来评估在线策略采样相对于离线数据的潜在好处。这指导了有针对性的在线生成，并将样本级的元权重分配给优化目标，从而动态平衡在线和离线数据的质量和分布。在AlpacaEval 2、Arena-Hard和MT-Bench上的实验表明，MetaAPO在各种设置下始终优于现有的偏好优化方法，同时降低了42%的在线标注成本。

🔬 方法详解

问题定义：论文旨在解决大型语言模型偏好优化中，离线偏好数据与在线模型策略之间存在的分布不匹配问题。现有方法，如静态启发式或解耦的在线采样，无法有效适应模型训练过程中的动态变化，导致优化效果受限。

核心思路：论文的核心思路是动态耦合数据生成与模型训练。通过引入一个轻量级的元学习器，作为“对齐差距估计器”，来评估在线采样相对于离线数据的潜在收益。基于此评估结果，指导在线数据生成，并为每个样本分配元权重，从而动态平衡在线和离线数据的质量和分布。

技术框架：MetaAPO框架包含以下主要模块：1) 偏好数据收集模块，包括离线数据和在线采样数据；2) 元学习器模块，用于评估在线采样的收益；3) 权重分配模块，根据元学习器的评估结果，为每个样本分配元权重；4) 偏好优化模块，使用加权后的数据进行模型训练。整体流程是：首先利用离线数据进行初步训练，然后通过元学习器评估在线采样的价值，指导在线数据生成，并赋予样本权重，最后使用加权后的数据进行偏好优化。

关键创新：MetaAPO的关键创新在于动态耦合数据生成与模型训练，并引入元学习器来评估在线采样的收益。与现有方法相比，MetaAPO能够更好地适应模型训练过程中的动态变化，从而更有效地利用在线数据，弥合离线数据与在线策略之间的差距。

关键设计：元学习器采用轻量级网络结构，以降低计算成本。损失函数设计为能够反映在线采样收益的指标，例如，可以使用在线采样数据训练的模型在验证集上的表现。元权重的分配策略可以根据元学习器的输出进行调整，例如，可以采用sigmoid函数将元学习器的输出映射到[0,1]区间，作为样本的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MetaAPO在AlpacaEval 2、Arena-Hard和MT-Bench等多个基准测试中，始终优于现有的偏好优化方法。更重要的是，MetaAPO在提升模型性能的同时，还降低了42%的在线标注成本，证明了其在实际应用中的优势。

🎯 应用场景

MetaAPO可广泛应用于各种需要与人类价值观对齐的大型语言模型训练场景，例如对话系统、文本生成、代码生成等。通过更有效地利用在线数据，MetaAPO能够提升模型的偏好对齐效果，使其更好地满足用户需求，并降低在线标注成本，具有重要的实际应用价值和商业潜力。

📄 摘要（原文）

Preference optimization is crucial for aligning large language models (LLMs) with human values and intentions. A significant challenge in this process is the distribution mismatch between pre-collected offline preference data and the evolving model policy. Existing methods attempt to reduce this gap using static heuristics or decoupled online sampling strategies, but they often fail to adapt to the model's dynamic learning state. To bridge this gap, we propose Meta-Weighted Adaptive Preference Optimization (MetaAPO), a novel framework that dynamically couples data generation with model training. MetaAPO employs a lightweight meta-learner, as an "alignment gap estimator", to evaluate the potential benefits of on-policy sampling in relation to offline data. This guides targeted online generation and assigns sample-wise meta-weights to the optimization objective, dynamically balancing the quality and distribution of online and offline data. Experiments on AlpacaEval 2, Arena-Hard and MT-Bench demonstrate that MetaAPO consistently outperforms existing preference optimization approaches across various settings, while reducing 42% in online annotation costs.