Fisher Random Walk: Automatic Debiasing Contextual Preference Inference for Large Language Model Evaluation
作者: Yichi Zhang, Alexander Belloni, Ethan X. Fang, Junwei Lu, Xiaoan Xu
分类: stat.ML, cs.LG, math.ST
发布日期: 2025-09-06
💡 一句话要点
提出Fisher随机游走方法，自动去偏上下文偏好推断，用于大规模语言模型评估。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大规模语言模型评估 上下文偏好推断 去偏估计 Fisher随机游走 半参数估计 Bradley-Terry-Luce模型 多重假设检验 分布偏移
📋 核心要点
- 现有大规模语言模型评估方法缺乏严谨性和可扩展性，难以有效处理上下文相关的偏好推断。
- 论文提出Fisher随机游走策略，用于自动去偏上下文偏好推断，提高评估的准确性和效率。
- 实验结果表明，该方法在不同上下文的语言模型评估中表现出良好的准确性、效率和实用性。
📝 摘要（中文）
本文针对大规模语言模型评估中严格且可扩展的需求，研究了跨领域上下文相关偏好评分函数的成对比较函数式上下文偏好推断。聚焦于上下文Bradley-Terry-Luce模型，我们开发了一种半参数有效估计器，通过聚合比较图上的加权残差平衡项，自动实现去偏估计。我们证明，当权重来源于一种名为Fisher随机游走的新策略时，可以实现效率。我们还提出了一种计算上可行的方法，通过Nuisance权重函数的势表示来计算权重。我们证明了我们的推断程序对于通用的评分函数估计器是有效的，满足了从业者实现灵活深度学习方法的需求。我们将该程序扩展到使用高斯乘数Bootstrap的多重假设检验，以控制家庭误差率，并通过交叉拟合的重要性抽样调整来处理目标域推断中的分布偏移。数值研究，包括在不同上下文下的语言模型评估，证实了我们方法的准确性、效率和实用性。
🔬 方法详解
问题定义：论文旨在解决大规模语言模型评估中，上下文偏好推断的偏差问题。现有方法在处理上下文相关性时存在不足，导致评估结果不准确，且难以扩展到复杂场景。传统的偏好推断方法难以有效处理大规模语言模型的复杂性和上下文依赖性，需要一种更有效、更鲁棒的去偏方法。
核心思路：论文的核心思路是通过Fisher随机游走策略，为每个比较对分配权重，从而在聚合残差平衡项时消除偏差。这种加权方法能够更准确地估计上下文相关的偏好，提高评估的准确性。Fisher随机游走策略旨在找到最优的权重分配方案，以最小化估计偏差。
技术框架：整体框架包括以下几个主要步骤：1) 构建上下文相关的成对比较图；2) 使用评分函数估计器（例如深度学习模型）计算每个比较对的偏好得分；3) 利用Fisher随机游走策略计算每个比较对的权重；4) 聚合加权残差平衡项，进行去偏估计；5) 使用高斯乘数Bootstrap进行多重假设检验，并进行分布偏移调整。
关键创新：论文的关键创新在于提出了Fisher随机游走策略，用于自动去偏上下文偏好推断。与传统的权重分配方法相比，Fisher随机游走能够更有效地消除偏差，提高估计的准确性。此外，论文还提出了一种计算上可行的方法，通过Nuisance权重函数的势表示来计算权重，降低了计算复杂度。
关键设计：论文的关键设计包括：1) 使用上下文Bradley-Terry-Luce模型来建模上下文相关的偏好；2) 利用残差平衡项来消除偏差；3) 使用Fisher随机游走策略来确定权重；4) 使用高斯乘数Bootstrap进行多重假设检验，以控制家庭误差率；5) 通过交叉拟合的重要性抽样调整来处理分布偏移。
🖼️ 关键图片
📊 实验亮点
论文通过数值实验验证了所提出方法的有效性。实验结果表明，该方法在不同上下文的语言模型评估中表现出良好的准确性、效率和实用性。与现有方法相比，该方法能够更有效地消除偏差，提高评估的准确性。具体的性能数据和对比基线在论文中有详细展示。
🎯 应用场景
该研究成果可广泛应用于大规模语言模型的评估和选择，帮助开发者更准确地了解模型的性能，并进行有针对性的改进。此外，该方法还可以应用于推荐系统、信息检索等领域，提高用户偏好建模的准确性和个性化推荐的效果。未来，该方法有望推动人工智能评估领域的标准化和自动化。
📄 摘要（原文）
Motivated by the need for rigorous and scalable evaluation of large language models, we study contextual preference inference for pairwise comparison functionals of context-dependent preference score functions across domains. Focusing on the contextual Bradley-Terry-Luce model, we develop a semiparametric efficient estimator that automates the debiased estimation through aggregating weighted residual balancing terms across the comparison graph. We show that the efficiency is achieved when the weights are derived from a novel strategy called Fisher random walk. We also propose a computationally feasible method to compute the weights by a potential representation of nuisance weight functions. We show our inference procedure is valid for general score function estimators accommodating the practitioners' need to implement flexible deep learning methods. We extend the procedure to multiple hypothesis testing using a Gaussian multiplier bootstrap that controls familywise error and to distributional shift via a cross-fitted importance-sampling adjustment for target-domain inference. Numerical studies, including language model evaluations under diverse contexts, corroborate the accuracy, efficiency, and practical utility of our method.