Asymptotic Universal Alignment: A New Alignment Framework via Test-Time Scaling

📄 arXiv: 2601.08777v1 📥 PDF

作者: Yang Cai, Weiqiang Zheng

分类: cs.LG, cs.AI, cs.CL, cs.GT

发布日期: 2026-01-13

💡 一句话要点

提出基于测试时缩放的渐近通用对齐框架，提升大语言模型对齐效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型对齐 测试时缩放 通用对齐 纳什学习 多人博弈 自博弈学习 输出多样性 鲁棒对齐

📋 核心要点

  1. 现有对齐方法，如NLHF，在测试时缩放中未能充分利用输出多样性，导致性能受限。
  2. 提出一种基于对称多人对齐博弈的框架，通过保留输出多样性实现最优测试时缩放。
  3. 理论证明了该框架的收敛性，并将其扩展到多响应对手，增强了通用性和实用性。

📝 摘要（中文）

本文提出了一个通过测试时缩放实现通用对齐的理想化概念，旨在解决将大型语言模型（LLM）与具有异构和潜在冲突偏好的用户对齐这一核心挑战。论文形式化了通用对齐的概念：对于每个提示，模型生成k≥1个候选响应，用户选择其偏好的一个。引入了(k,f(k))-鲁棒对齐，要求k输出模型相对于任何其他单输出模型具有f(k)的胜率，以及渐近通用对齐（U-对齐），要求当k→∞时，f(k)→1。主要结果描述了最优收敛速度：存在一个单输出策略族，其k样本乘积策略以f(k)=k/(k+1)的速度实现U-对齐，并且通常没有方法可以实现更快的速度。研究表明，包括来自人类反馈的纳什学习（NLHF）在内的流行后训练方法可能从根本上未能充分利用测试时缩放的优势。即使NLHF对于k=1是最优的，从结果（通常是确定性的）策略中抽样也不能保证高于1/2的胜率，除非存在任意小的松弛。这源于输出多样性的缺乏：现有的对齐方法可以崩溃为单个多数首选响应，从而使额外的样本变得冗余。相比之下，本文的方法保留了输出多样性并实现了最佳的测试时缩放速度。特别地，论文提出了一系列对称的多人对齐博弈，并证明了(k+1)人对齐博弈的任何对称纳什均衡策略都实现了最佳的(k,k/(k+1))-鲁棒对齐。最后，论文为这些博弈中的自博弈学习动态提供了理论收敛保证，并将该框架扩展到也生成多个响应的对手。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）与具有不同偏好的用户对齐的问题。现有方法，如NLHF，虽然在单输出情况下表现良好，但在测试时缩放（生成多个候选答案供用户选择）时，由于缺乏输出多样性，性能提升有限，甚至可能低于理论上限。现有方法容易坍塌到单一的、多数用户偏好的答案，使得生成多个样本变得冗余。

核心思路：论文的核心思路是通过设计一种新的对齐框架，鼓励模型生成更多样化的候选答案，从而在测试时缩放中获得更好的性能。该框架基于对称多人对齐博弈，通过博弈论的方法来保证输出的多样性，并实现最优的测试时缩放速率。

技术框架：整体框架包含以下几个主要部分：1) 定义了通用对齐的概念，即模型为每个prompt生成k个候选答案，用户选择其中一个；2) 引入了(k, f(k))-鲁棒对齐和渐近通用对齐（U-对齐）的概念，用于衡量模型在测试时缩放中的性能；3) 提出了对称多人对齐博弈，用于训练模型生成多样化的候选答案；4) 证明了该博弈的对称纳什均衡策略可以实现最优的(k, k/(k+1))-鲁棒对齐；5) 提供了自博弈学习动态的理论收敛保证。

关键创新：最重要的创新点在于提出了基于对称多人对齐博弈的对齐框架，该框架能够有效地保留输出多样性，从而在测试时缩放中获得更好的性能。与现有方法（如NLHF）相比，该框架不再局限于优化单一输出，而是鼓励模型生成多个不同的候选答案，从而更好地满足不同用户的偏好。

关键设计：论文的关键设计包括：1) 对称多人对齐博弈的设计，确保每个玩家（模型）都以相同的方式参与博弈，从而保证输出的公平性和多样性；2) 损失函数的设计，鼓励模型生成与现有答案不同的候选答案，从而增加输出的多样性；3) 自博弈学习动态的设计，通过让模型与自身进行博弈，不断提高其生成多样化候选答案的能力。

📊 实验亮点

论文证明了存在一个单输出策略族，其k样本乘积策略以f(k)=k/(k+1)的速度实现U-对齐，并且通常没有方法可以实现更快的速度。实验表明，现有的对齐方法（如NLHF）在测试时缩放中性能提升有限，而本文提出的框架可以实现最优的测试时缩放速率，显著提升模型对齐效果。

🎯 应用场景

该研究成果可应用于各种需要个性化推荐或对齐的场景，例如智能客服、内容生成、搜索排序等。通过生成多个候选答案并让用户选择，可以更好地满足不同用户的需求，提高用户满意度。此外，该框架还可以用于训练更加鲁棒和可靠的语言模型，降低模型产生有害或不准确信息的风险。

📄 摘要（原文）

Aligning large language models (LLMs) to serve users with heterogeneous and potentially conflicting preferences is a central challenge for personalized and trustworthy AI. We formalize an ideal notion of universal alignment through test-time scaling: for each prompt, the model produces $k\ge 1$ candidate responses and a user selects their preferred one. We introduce $(k,f(k))$-robust alignment, which requires the $k$-output model to have win rate $f(k)$ against any other single-output model, and asymptotic universal alignment (U-alignment), which requires $f(k)\to 1$ as $k\to\infty$. Our main result characterizes the optimal convergence rate: there exists a family of single-output policies whose $k$-sample product policies achieve U-alignment at rate $f(k)=\frac{k}{k+1}$, and no method can achieve a faster rate in general. We show that popular post-training methods, including Nash learning from human feedback (NLHF), can fundamentally underutilize the benefits of test-time scaling. Even though NLHF is optimal for $k=1$, sampling from the resulting (often deterministic) policy cannot guarantee win rates above $\tfrac{1}{2}$ except for an arbitrarily small slack. This stems from a lack of output diversity: existing alignment methods can collapse to a single majority-preferred response, making additional samples redundant. In contrast, our approach preserves output diversity and achieves the optimal test-time scaling rate. In particular, we propose a family of symmetric multi-player alignment games and prove that any symmetric Nash equilibrium policy of the $(k+1)$-player alignment game achieves the optimal $(k,\frac{k}{k+1})$-robust alignment. Finally, we provide theoretical convergence guarantees for self-play learning dynamics in these games and extend the framework to opponents that also generate multiple responses.