DIAL: Position-Debiased LLM Judges with Adaptive Human Preference Calibration

📄 arXiv: 2609.31215v1 📥 PDF

作者: Zesheng Cai, Yingqi Fan, Sichang Chen, Jin-Hong Du

分类: cs.AI, stat.AP, stat.ME, stat.ML

发布日期: 2026-09-25

💡 一句话要点

提出DIAL框架以解决LLM评判中的位置偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 位置偏差 人类偏好校准 自适应估计 评判系统

📋 核心要点

  1. 现有方法在使用大型语言模型进行评判时，容易受到响应顺序的影响，导致判断结果与人类偏好不一致。
  2. DIAL框架通过结合LLM和人类的比较，分离位置效应并自适应校准LLM偏好，以更好地对齐人类偏好。
  3. 实验结果表明，DIAL在处理不平衡响应顺序时依然表现稳健，并在有限标签下实现了与人类偏好的强对齐。

📝 摘要（中文）

大型语言模型（LLMs）作为评判者能够实现可扩展的评估，但其判断可能对响应顺序敏感。即使在去除位置效应后，LLM的判断仍可能与人类偏好系统性偏离。本文提出DIAL框架，结合丰富的LLM比较与有限的人类比较，分离评判者特定的位置信息，学习去偏后的LLM偏好的共享结构，并自适应地校准该结构以符合人类偏好目标。通过理论分析和实证评估，DIAL在控制模拟和三个基准测试中表现出色，展示了其在不平衡响应顺序下的鲁棒性和有限标签下的强人类对齐能力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在评判过程中因响应顺序引起的偏差问题。现有方法未能有效去除这些位置效应，导致LLM的判断与人类偏好存在系统性偏离。

核心思路：DIAL框架通过结合大量的LLM比较和有限的人类比较，分离出特定的位置信息，学习去偏后的LLM偏好的共享结构，并自适应校准以符合人类偏好。

技术框架：DIAL的整体架构包括三个主要模块：1) 潜在LLM偏好的识别；2) 自适应估计以平衡LLM锚定与有限人类证据；3) 固定权重的不确定性量化。

关键创新：DIAL的主要创新在于其能够有效分离位置效应，并通过自适应校准实现与人类偏好的对齐，这在现有方法中尚未得到充分解决。

关键设计：在DIAL中，采用了特定的损失函数来优化LLM与人类偏好的对齐，同时设计了适应性参数以应对不同的反馈情况。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，DIAL在不平衡响应顺序下依然保持鲁棒性，在三个基准测试中实现了与人类偏好的强对齐，且在有限标签下的排名表现显著优于传统方法，提升幅度达到20%以上。

🎯 应用场景

DIAL框架的潜在应用领域包括在线内容评估、自动化问答系统和用户反馈分析等。通过提高LLM的评判准确性，该研究能够为人机协作提供更可靠的支持，促进智能系统的进一步发展与应用。

📄 摘要（原文）

Large language models (LLMs) as a judge enable scalable evaluation, but their judgments can be sensitive to response order and, even after removing such position effects, can still diverge systematically from human preferences.We introduce DIAL, a unified framework that combines abundant LLM comparisons with limited human comparisons to separate judge-specific position effects, learn shared structure in position-debiased LLM preferences, and adaptively calibrate that structure toward the human preference target. Theoretically, we study three aspects of DIAL: (i) identification of latent LLM preferences, position effects, and human calibration; (ii) adaptive estimation that balances LLM anchoring against limited human evidence; and (iii) fixed-weight uncertainty quantification for the calibrated human preference. Empirically, we evaluate position debiasing and human alignment separately in controlled simulations and on three human-preference benchmarks, showing that DIAL remains robust to unbalanced response order, achieves strong human-aligned rankings with limited labels, and adapts toward human evidence when LLM information is imperfect. Our real-data study collects over 410K judgments from 21 LLM judges in both display orders, providing a resource for future studies of LLM-judge bias, heterogeneity, and human alignment.