Kad: A Framework for Proxy-based Test-time Alignment with Knapsack Approximation Deferral

📄 arXiv: 2510.27017v2 📥 PDF

作者: Ayoub Hammal, Pierre Zweigenbaum, Caio Corro

分类: cs.CL

发布日期: 2025-10-30 (更新: 2026-01-24)

备注: EACL 2026 main

💡 一句话要点

Kad框架：基于代理模型的测试时对齐，利用背包近似延迟解决LLM对齐计算成本高昂问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 测试时对齐 代理模型 背包问题 推测解码

📋 核心要点

  1. 大型语言模型需要对齐以适应下游任务，但对齐的计算成本随着模型规模增长而变得难以承受。
  2. 该论文提出了一种基于代理模型的测试时对齐方法，利用小型对齐模型的指导来降低计算成本。
  3. 实验表明，该方法在任务性能和推测解码速度方面都取得了提升，验证了其有效性。

📝 摘要（中文）

先前研究表明，大型语言模型（LLM）的大部分生成能力在预训练阶段就已经学习到。然而，LLM仍然需要进一步的对齐，以符合下游任务的要求和风格偏好等。随着LLM规模的不断扩大，对齐过程的计算成本也变得过高。本文提出了一种新的方法，通过基于代理模型的测试时对齐来规避这些成本，即使用来自小型对齐模型的指导。我们的方法可以描述为一种token特定的级联方法，其中token特定的延迟规则被简化为0-1背包问题。在这种设置下，我们推导出了最优延迟决策的原始和对偶近似。实验结果表明，我们的方法在任务性能和推测解码速度方面都具有优势。

🔬 方法详解

问题定义：大型语言模型（LLM）在预训练后需要进行对齐，以满足特定任务的需求和风格偏好。然而，随着LLM规模的增大，对齐所需的计算资源也急剧增加，使得对齐过程变得非常昂贵和耗时。现有的对齐方法难以在计算资源有限的情况下高效地对齐大型LLM。

核心思路：该论文的核心思路是利用一个小型、已经对齐的代理模型来指导大型LLM的测试时生成过程。通过代理模型的指导，大型LLM可以在生成token时做出更明智的决策，从而减少对齐所需的计算量。这种方法类似于知识蒸馏，但应用于测试时，目标是加速和优化生成过程，而不是压缩模型。

技术框架：该框架可以被描述为一种token特定的级联方法。对于每个token的生成，系统会首先考虑是否应该“延迟”到代理模型进行决策。这个决策过程被建模为一个0-1背包问题，其中每个token的延迟决策对应于背包中的一个物品。框架包含以下主要阶段：1. 代理模型选择：选择一个小型且已对齐的LLM作为代理模型。2. 延迟决策：对于每个token，根据某种策略决定是否将生成决策“延迟”到代理模型。3. token生成：如果决定延迟，则使用代理模型生成token；否则，使用原始LLM生成token。

关键创新：该论文的关键创新在于将token特定的延迟决策建模为一个0-1背包问题，并提出了原始和对偶近似方法来解决这个优化问题。这种方法允许在计算成本和生成质量之间进行权衡，从而在有限的计算资源下实现更好的对齐效果。与传统的对齐方法相比，该方法不需要对整个LLM进行重新训练，而是通过在测试时进行动态调整来实现对齐。

关键设计：论文将token延迟决策建模为0-1背包问题，目标是最大化收益（例如，生成质量）同时限制成本（例如，计算时间）。收益和成本的估计是基于代理模型和原始LLM的预测结果。论文提出了原始和对偶近似算法来解决背包问题，这些算法可以在不同的计算资源约束下找到次优解。具体的参数设置和损失函数取决于具体的任务和代理模型的选择。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该方法在任务性能和推测解码速度方面都取得了显著提升。具体来说，该方法在保持或提高生成质量的同时，能够显著减少计算成本，并加速生成过程。通过与现有基线方法进行比较，证明了该方法在测试时对齐方面的有效性和优越性。

🎯 应用场景

该研究成果可应用于各种需要对大型语言模型进行快速、低成本对齐的场景，例如：个性化对话系统、特定领域的文本生成、以及需要快速适应新任务的LLM应用。该方法可以降低LLM部署和维护的成本，并加速LLM在实际应用中的落地。

📄 摘要（原文）

Several previous works concluded that the largest part of generation capabilities of large language models (LLM) are learned (early) during pre-training. However, LLMs still require further alignment to adhere to downstream task requirements and stylistic preferences, among other desired properties. As LLMs continue to scale in terms of size, the computational cost of alignment procedures increase prohibitively. In this work, we propose a novel approach to circumvent these costs via proxy-based test-time alignment, i.e. using guidance from a small aligned model. Our approach can be described as a token-specific cascading method, where the token-specific deferral rule is reduced to 0-1 knapsack problem. In this setting, we derive primal and dual approximations of the optimal deferral decision. We experimentally show the benefits of our method both in task performance and speculative decoding speed.