Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation

📄 arXiv: 2610.21214v1 📥 PDF

作者: Licheng Pan, Haocheng Yang, Haoxuan Li, Yuzhou Chen, Yichen Sun, Yuan Lu, Xiaoxi Li, Hao Wang, Zhixuan Chu, Kui Ren

分类: cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出不确定性感知的评分加权方法以改进LLM评估

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 评估方法 不确定性感知 保形校准 强化学习 评分加权

📋 核心要点

  1. 现有的评分方法未能有效区分不同标准的判断不确定性，导致不准确的最终评分。
  2. 提出的不确定性感知评分加权（URW）框架通过保形校准量化判断不确定性，提升评估的准确性。
  3. 实验结果显示，URW在成对偏好准确性上显著提高，并增强了下游强化学习的对齐效果。

📝 摘要（中文）

基于评分的评估广泛用于评估大型语言模型（LLM）的输出，通过将质量分解为多个标准并为每个标准分配二元判断。然而，判断的确定性在不同标准之间差异显著。现有方法将这些判断统一聚合为最终得分，忽视了这种异质性，可能导致下游强化学习（RL）中的误导性训练信号。为了解决这一局限性，本文提出了不确定性感知评分加权（URW），该框架通过保形校准量化标准级判断的不确定性，并利用固定的改写判断模板池生成软不确定性信号，最终转化为每个标准的权重。实验表明，URW在成对偏好准确性上持续提升，并增强了下游RL的对齐效果。

🔬 方法详解

问题定义：本文旨在解决现有评分方法在处理不同标准判断不确定性时的不足，现有方法将所有判断统一处理，忽视了判断的异质性，可能导致训练信号的误导。

核心思路：URW框架通过保形校准来量化每个标准的判断不确定性，利用固定的改写判断模板池生成软不确定性信号，进而为每个标准分配权重。这样的设计使得评估结果更为准确，避免了不确定判断对最终评分的影响。

技术框架：URW的整体架构包括三个主要模块：首先，通过改写模板池生成判断信号；其次，应用保形校准技术量化判断的不确定性；最后，计算每个标准的权重并用于最终评分的调整。

关键创新：URW的主要创新在于引入了不确定性感知的评分机制，通过量化每个标准的判断不确定性，显著提升了评估的准确性，与传统方法相比，避免了对不确定判断的盲目聚合。

关键设计：URW使用了固定的改写判断模板池，并通过分割保形$p$值计算每个标准的权重，确保了覆盖率的可证明性。此外，框架设计中未涉及训练过程，保持了高效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，URW在成对偏好准确性上显著提高，具体表现为相较于基线方法，准确率提升了XX%。此外，URW在下游强化学习对齐效果上也表现出更强的稳定性和一致性，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的评估、自然语言处理任务的优化以及强化学习系统的训练。通过更准确的评估机制，URW能够为模型训练提供更可靠的信号，从而提升模型的整体性能和应用效果。未来，该方法可能在多种AI应用中发挥重要作用，尤其是在需要高精度评估的场景中。

📄 摘要（原文）

Rubric-based evaluation is widely used to assess large language model (LLM) outputs by decomposing quality into multiple criteria and assigning each a binary judgment from an LLM verifier. However, judgment certainty varies substantially across criteria. Existing methods uniformly aggregate these judgments into a final score, implicitly treating every criterion as equally certain and overlooking this heterogeneity. As a result, uncertain judgments remain incorporated into reward estimation without distinction, potentially yielding misleading training signals for downstream reinforcement learning (RL). To address this limitation, we propose Uncertainty-aware Rubric Weighting (URW), a training-free framework that quantifies criterion-level judgment uncertainty via conformal calibration. Specifically, URW elicits a soft uncertainty signal from a fixed pool of paraphrased judgment templates and converts it into a per-criterion weight using split-conformal $p$-values with provable coverage guarantees. Extensive experiments demonstrate that URW consistently improves pairwise preference accuracy and delivers stronger downstream RL alignment.