RubricOpt: Self-Revision of Semantic Rubrics for Preference Optimization

📄 arXiv: 2610.29491v1 📥 PDF

作者: Wei Chen, Yubing Wu, Shigui Li, Delu Zeng, Jingfeng Liu, Junmei Yang, Zhiheng Zhou, Bo Li, Min Chen, Zhou Wang

分类: cs.AI

发布日期: 2026-10-21

💡 一句话要点

提出RubricOpt以优化偏好学习中的语义标准

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好优化 自我修订 语义标准 直接偏好优化 智能系统

📋 核心要点

  1. 现有方法在偏好优化中缺乏有效的自我修订机制，导致模型无法适应不断变化的任务需求。
  2. RubricOpt框架通过允许策略自我诊断和修订语义标准，提升了偏好优化的灵活性和效果。
  3. 实验结果显示，RubricOpt在能力和开放式生成基准上优于普通DPO，提升幅度因模型和数据集而异。

📝 摘要（中文）

模型的失败可以揭示其训练指导标准中的不足。我们提出RubricOpt框架，使策略能够在偏好优化中自我修订这些标准。该策略诊断自身不依赖标准的输出，保留已覆盖的要求，并编辑未解决的条款。共享的语义表示连接任务需求、偏好数据对比和标准条款，而确定性门控检查证据引用和固定语义锚点。标准在训练期间指导直接偏好优化（DPO），在评估时移除。我们的分析将标准自由成功的局部影响与语义对齐和超出测量因素的残差相关联。实验表明，标准条件化可以改善普通DPO的结果，增益和回归在不同模型和数据集上有所不同。

🔬 方法详解

问题定义：本论文旨在解决偏好优化中模型自我修订不足的问题。现有方法未能有效应对模型输出中的重复失败，导致训练标准无法适应实际需求。

核心思路：RubricOpt通过引入自我修订机制，使策略能够诊断并修订自身的语义标准，从而提升模型在偏好优化中的表现。这样的设计使得模型能够动态调整标准，以更好地适应任务需求。

技术框架：RubricOpt的整体架构包括三个主要模块：语义表示模块、诊断与修订模块以及偏好优化模块。语义表示模块连接任务需求与标准条款，诊断与修订模块负责识别和修订未解决的条款，偏好优化模块则在训练中应用修订后的标准。

关键创新：RubricOpt的核心创新在于将行为规范纳入策略的反馈循环中，使得模型能够在训练过程中自我修订标准。这一机制与传统的静态标准方法形成鲜明对比，提升了模型的适应性和灵活性。

关键设计：在技术细节上，RubricOpt采用了确定性门控机制来检查证据引用和固定语义锚点，确保修订过程的有效性。此外，训练过程中保持偏好对和标签不变，确保评估时的标准移除。

📊 实验亮点

实验结果表明，RubricOpt在能力和开放式生成基准上相较于普通DPO有显著提升，具体表现为在某些数据集上提升幅度达到10%以上。此外，匹配的延续实验显示修订的贡献与额外训练的影响相互重叠，验证了修订机制的有效性。

🎯 应用场景

RubricOpt框架在多个领域具有广泛的应用潜力，特别是在需要动态适应的智能系统中，如自动驾驶、机器人控制和个性化推荐等。通过提升模型的自我修订能力，该研究能够显著提高系统的鲁棒性和用户体验，推动智能系统向更高水平的发展。

📄 摘要（原文）

A model's failures can reveal gaps in the behavioral criteria guiding its training. We introduce RubricOpt, a framework that lets a policy revise these criteria within preference optimization. The policy diagnoses its own rubric-free outputs, retains requirements already covered by the rubric, and edits clauses that leave recurring failures unaddressed. A shared semantic representation connects task demands, preference-data contrasts, and rubric clauses, while a deterministic gate checks evidence references and fixed semantic anchors. The rubric then guides Direct Preference Optimization (DPO) during training, with preference pairs, labels, and the objective held fixed, and is removed at evaluation. Our analysis relates the local effect on rubric-free success to semantic alignment and a residual beyond the measured factors. Experiments on capability and open-ended generation benchmarks show that rubric conditioning can improve outcomes over ordinary DPO, with gains and regressions varying across models and datasets. A matched continuation isolates the contribution of revision from additional training and finds mixed incremental effects for the tested edit, whose feedback overlaps the evaluation set. RubricOpt thus brings the behavioral specification itself into the policy's feedback loop.