LexReward: A Taxonomy-Driven Reward Framework for Legal Language Models

📄 arXiv: 2609.39071v1 📥 PDF

作者: Yida Cai, Xin Dai, Bingxiang He, Huiyuan Xie, Yuxiao Ye, Zhenghao Liu, Yang Bai, Zhiyuan Liu

分类: cs.CL

发布日期: 2026-09-30

💡 一句话要点

提出LexReward框架以提升法律语言模型的奖励信号质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 法律语言模型 奖励信号 多维评估 直接偏好优化 LexReward 法律文本生成 人工智能

📋 核心要点

  1. 现有法律语言模型的奖励方法多依赖粗糙的整体判断，缺乏对法律响应质量的细致评估。
  2. 本文提出LexReward框架，通过风格、要素和链条三个维度来系统性地评估法律响应质量。
  3. 实验结果显示，基于评估标准的奖励能够有效区分法律响应质量，并提升模型在各维度的表现。

📝 摘要（中文）

法律语言模型需要能够捕捉答案正确性和法律响应多维质量的奖励信号。然而，现有的奖励方法往往依赖粗糙的整体判断，缺乏领域特异性和可解释性。为此，本文提出了LexReward，一个基于分类法的法律奖励建模框架。LexReward从风格、要素和链条三个互补维度来表征法律响应质量，并为每个维度开发了评估标准和质量等级。实验表明，基于评估标准的奖励能够有效区分不同质量的法律响应，并且在偏好数据上进行的直接偏好优化训练提升了各维度的性能。

🔬 方法详解

问题定义：本文旨在解决现有法律语言模型在奖励信号方面的不足，尤其是缺乏对法律响应质量的细致和多维度评估。现有方法通常依赖于粗糙的整体判断，导致领域特异性和可解释性不足。

核心思路：LexReward框架通过引入风格、要素和链条三个维度，系统性地评估法律响应的质量。每个维度都有明确的评估标准和质量等级，从而提供更细致的奖励信号。

技术框架：LexReward的整体架构包括三个主要模块：风格评估模块、要素评估模块和链条评估模块。每个模块根据特定的评估标准对法律响应进行打分，最终生成用于训练的奖励信号。

关键创新：LexReward的主要创新在于其分类法驱动的奖励建模方式，能够从多个维度全面评估法律响应的质量。这与现有方法的单一维度评估形成鲜明对比，提升了奖励信号的细致性和有效性。

关键设计：在设计上，LexReward为每个维度制定了具体的评估标准和质量等级，并通过直接偏好优化（DPO）训练生成的偏好数据来优化奖励模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于评估标准的奖励能够有效区分不同质量的法律响应，DPO训练在所有三个维度上均显著提升了模型性能。具体来说，LexRM在风格、要素和链条维度的表现均有明显改善，验证了该框架的有效性。

🎯 应用场景

LexReward框架具有广泛的应用潜力，尤其在法律文本生成、法律咨询和法律信息检索等领域。通过提供更细致的奖励信号，该框架能够提升法律语言模型的性能，进而提高法律服务的质量和效率。未来，LexReward可能会推动法律人工智能技术的进一步发展和应用。

📄 摘要（原文）

Legal language models require reward signals that capture not only answer correctness but also the multidimensional quality of legal responses. Existing reward methods, however, often rely on coarse-grained holistic judgments, providing limited domain specificity and interpretability. We introduce LexReward, a taxonomy-driven framework for legal reward modeling. LexReward characterizes legal response quality along three complementary dimensions: Style, covering lexical and syntactic quality; Element, assessing legal subjects, facts, statutes, and decisions; and Chain, evaluating the order, completeness, correctness, and non-redundancy of legal reasoning. For each dimension, we develop rubrics that specify evaluation criteria and quality levels. The resulting rewards are used to construct pairwise preference data for Direct Preference Optimization (DPO) and reward-model training. Experiments show that the rubric-based rewards reliably distinguish legal responses of different quality and that DPO training on the preference data improves performance across all three dimensions. The learned reward models, LexRM, also support effective downstream optimization: each dimension-specific reward model improves policy performance in its corresponding dimension through reinforcement learning, without requiring reference answers at reward time. Dimension-wise analyses further support the effectiveness of the proposed taxonomy and reward construction.