Rubrics on Trial: Evolving Rubrics from a Single Query via Synthetic Pairwise Evidence

📄 arXiv: 2607.15092v1 📥 PDF

作者: Haocheng Yang, Licheng Pan, Xiaoxi Li, Zhichao Chen, Zhiheng Zhang, Yuan Lu, Haoxuan Li, Hao Wang

分类: cs.CL

发布日期: 2026-07-16

💡 一句话要点

提出Rubrics on Trial以解决查询特定评分标准构建难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 评分标准生成 大型语言模型 合成数据 自动化评估 机器学习

📋 核心要点

  1. 现有方法在构建查询特定评分标准时依赖于人工资源，难以保证评分标准的有效性和适用性。
  2. Rubrics on Trial通过合成评分标准条件响应对，从空集演变出评分标准，避免了对外部注释的依赖。
  3. 实验结果显示，该方法在多个基准测试中表现优异，达到了最佳的平均准确率，验证了其有效性。

📝 摘要（中文）

评分标准为训练和评估大型语言模型提供了结构化、细粒度的信号。然而，构建可靠的查询特定评分标准非常困难。现有方法通常依赖于人工编写的评分标准、偏好数据或采样响应。直接从查询生成评分标准虽然避免了这些资源，但缺乏对评分标准有效性的明确检查。本文提出Rubrics on Trial，一个仅基于查询的框架，从空集演变出评分标准集，无需外部注释或模型训练。该方法仅依赖于合成的评分标准条件响应对，并在添加每个提议的评分标准之前进行验证，筛选出非区分性、过于具体和仅关注风格的候选评分标准。实验结果表明，Rubrics on Trial在五个偏好基准套件中表现出色，达到了最佳平均准确率，并在七个评估集中的六个上领先。

🔬 方法详解

问题定义：本文旨在解决构建查询特定评分标准的困难，现有方法往往依赖于人工编写的评分标准或偏好数据，导致评分标准的有效性和适用性难以保证。

核心思路：Rubrics on Trial的核心思路是通过合成的评分标准条件响应对，从空集逐步演变出有效的评分标准，避免了对外部注释和模型训练的依赖。

技术框架：该方法的整体架构包括三个主要阶段：首先生成合成的评分标准条件响应对；其次对每个提议的评分标准进行验证；最后筛选出有效的评分标准并添加到评分标准集中。

关键创新：Rubrics on Trial的最大创新在于其无需外部注释的评分标准生成方式，通过合成数据实现了评分标准的自动演变，这与传统依赖人工或偏好数据的方法本质上不同。

关键设计：在技术细节上，该方法设计了有效的验证机制，以筛选出非区分性、过于具体和仅关注风格的评分标准，确保最终生成的评分标准具有良好的区分能力和适用性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，Rubrics on Trial在五个偏好基准套件中表现优异，达到了最佳的平均准确率，并在七个评估集中的六个上领先，显示出其在评分标准生成方面的显著优势。

🎯 应用场景

Rubrics on Trial的研究成果具有广泛的应用潜力，尤其在大型语言模型的训练和评估中，可以为模型提供更为精准的反馈和指导。此外，该方法的框架可扩展至其他需要评分标准的领域，如教育评估和自动化内容审核，未来可能对相关领域产生深远影响。

📄 摘要（原文）

Rubrics provide structured, fine-grained signals for training and evaluating large language models (LLMs). Yet reliable query-specific rubrics are difficult to construct. Existing approaches often derive supervision from human-written rubrics, preference data, or sampled responses. Direct query-to-rubric generation avoids these resources, but provides no explicit check that a plausible rubric is useful. Such a rubric may fail to distinguish answer quality, reward an optional style, or penalize a valid alternative strategy. We introduce Rubrics on Trial, a query-only framework that evolves a rubric set from an empty set without external annotations or model training. It derives supervision solely from synthetic rubric-conditioned response pairs and validates each proposed rubric before adding it, screening out non-discriminative, over-specific, and style-only candidate rubrics. Experiments across five preference benchmark suites demonstrate the effectiveness of Rubrics on Trial, which achieves the best average accuracy and leads on six of seven evaluation sets.