Co-Evolving LLM Evaluators and Policies via DynamicRubric
作者: Beining Wang, Weihang Su, Hongtao Tian, Hao Kong, Tao Yang, Ting Yao, Qingyi Pan, Yueyue Wu, Qingyao Ai, Min Zhang, Yiqun Liu
分类: cs.LG, cs.AI
发布日期: 2026-07-22
💡 一句话要点
提出DynamicRubric以解决大语言模型评估与策略优化瓶颈问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 评估者反馈 策略优化 动态评估 机器学习
📋 核心要点
- 现有方法在策略优化中面临评估分数差距缩小的问题，导致监督信号弱化。
- 提出DynamicRubric框架，通过生成加权的评估标准，促进评估者与策略的共同演化。
- 实验结果显示，DynamicRubric优化的模型在推理和编码任务上表现优异，并在实际应用中提升了在线指标。
📝 摘要（中文）
在大语言模型的后训练过程中，利用评估者反馈对策略引导的样本进行优化是提升模型性能的主要机制。然而，随着策略的改进，样本响应的质量趋于相近，导致评估分数差距缩小，从而形成优化瓶颈。本文通过概率分配视角理论性地阐明了这些分数差距的重要性，并提出DynamicRubric框架，该框架生成加权的二元评估标准，并将评估结果聚合为响应级别的分数。实验表明，DynamicRubric在8B骨干模型上显著提升了评估者性能，并提供了比70B奖励模型或235B静态评估生成器更强的策略监督。该模型已在微信搜索的AI问答场景中全面部署，处理每日数千万请求，提升了关键在线指标。
🔬 方法详解
问题定义：本文旨在解决大语言模型后训练中，评估者反馈与策略优化之间的瓶颈问题。现有方法在策略改进时，样本响应质量趋于相似，导致评估分数差距缩小，从而影响优化效果。
核心思路：论文提出DynamicRubric框架，基于评估者与策略的共同演化，通过生成加权的二元评估标准，增强评估信号的有效性，促进策略优化。
技术框架：DynamicRubric框架包括评估者生成加权评估标准、对候选集进行评估、以及将评估结果聚合为响应级别分数的模块。整体流程为：首先生成候选响应，然后通过加权评估标准进行评估，最后聚合评估结果以指导策略更新。
关键创新：最重要的创新在于将评估者与策略的演化过程结合，通过动态生成的评估标准来增强评估信号的有效性，区别于传统静态评估方法。
关键设计：在设计中，采用了加权的二元评估标准，确保评估者能够根据候选集的特征进行精准评估。此外，损失函数和网络结构经过优化，以适应动态评估的需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用DynamicRubric优化的模型在8B骨干上显著提升了评估者性能，提供了比70B奖励模型和235B静态评估生成器更强的策略监督。此外，该模型在推理和编码任务上表现出色，且在微信搜索的AI问答场景中处理数千万请求，提升了关键在线指标。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、对话生成和其他需要高质量语言生成的场景。通过提升评估者与策略的协同演化，DynamicRubric能够在实际应用中显著提高模型性能，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Post-training with evaluator feedback on policy-induced samples serves as a major mechanism for improving large language models. As policies improve, these sampled responses become close in quality. These close candidates create a bottleneck for policy optimization: collapsed relative evaluator score gaps yield weak or misleading policy supervision. We theoretically characterize why these gaps matter through a probability allocation view, showing that the directional gain of shifting probability mass from one response to another is exactly the evaluator score gap between them. This identifies relative score gaps as the policy optimization signals that guide updates. Motivated by this view, we propose DynamicRubric, a response-set-conditioned evaluator--policy co-evolution framework that generates weighted binary rubric items for each candidate set and aggregates the resulting judgments into response-level scores. In our experiments with 8B backbones, DynamicRubric improves evaluator performance and provides stronger policy supervision than baselines using a 70B reward model or a 235B static rubric generator. DynamicRubric-optimized policies also show gains on verifiable reasoning and coding tasks. A DynamicRubric-optimized model is fully deployed in WeChat Search's AI answering scenario, where it serves all online traffic across tens of millions of requests per day and improves key online metrics. These results suggest a principle for evaluator-guided post-training: evaluators should evolve with the policies they supervise.