Evaluating the Role of Verifiers in Test-Time Scaling for Legal Reasoning Tasks

📄 arXiv: 2510.25623v2 📥 PDF

作者: Davide Romano, Jonathan Schwarz, Daniele Giofré

分类: cs.CL

发布日期: 2025-10-29 (更新: 2025-10-30)

备注: Accepted to EMNLP - NLLP Workshop

💡 一句话要点

研究验证器在法律推理任务测试时缩放中的作用，提升大语言模型性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律推理 大语言模型 测试时缩放 验证器 奖励模型

📋 核心要点

  1. 现有大语言模型在法律推理任务中性能有待提升，但测试时缩放技术（TTS）的价值未被充分挖掘。
  2. 论文探索了基于验证器的TTS方法，通过奖励模型评估结果层面和过程层面的验证效果，提升模型性能。
  3. 实验分析了领域专业化、模型大小和监督类型等因素对验证器效用的影响，并评估了不同角色下的应用效果。

📝 摘要（中文）

本文研究了测试时缩放（TTS）技术在法律推理任务中的应用，旨在提升大型语言模型（LLMs）的性能，但同时也增加了计算成本和延迟。尽管TTS已在数学和编程等形式化领域证明有效，但其在法律等论证领域的价值尚未充分探索。本文针对五个法律多项选择问答（MCQA）基准，对基于验证器的TTS方法进行了实证研究。使用一组7个奖励模型，在实际的低N预算下，评估了结果层面（Best-of-$N$）和过程层面（树搜索）的验证效果。分析系统地研究了验证器的效用如何受到领域专业化、模型大小和监督类型（过程监督PRM与结果监督ORM）等关键属性的影响，即使应用于不同的角色。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在法律多项选择问答（MCQA）任务中，如何在计算资源有限的情况下，有效利用测试时缩放（TTS）技术提升性能的问题。现有方法在法律等论证领域的应用效果尚不明确，且验证器的作用机制需要进一步研究。

核心思路：论文的核心思路是利用验证器对LLM生成的多个答案进行评估和筛选，从而提高最终答案的准确性。通过引入奖励模型，对LLM的输出结果或推理过程进行打分，选择得分最高的答案或路径。这种方法旨在模拟人类专家在解决问题时，会反复验证和修正答案的过程。

技术框架：整体框架包括：1) LLM生成多个候选答案；2) 验证器（奖励模型）对每个候选答案或推理过程进行评分；3) 基于评分选择最佳答案。具体而言，论文研究了两种验证策略：Best-of-$N$，即选择得分最高的答案；以及树搜索，即在推理过程中进行多次验证和修正。

关键创新：论文的关键创新在于系统性地研究了验证器在法律推理任务中的作用，并分析了领域专业化、模型大小和监督类型等因素对验证器效用的影响。此外，论文还比较了过程监督奖励模型（PRM）和结果监督奖励模型（ORM）在TTS中的表现，为选择合适的验证器提供了指导。

关键设计：论文使用了7个奖励模型作为验证器，并针对不同的验证策略（Best-of-$N$和树搜索）进行了实验。在低N预算下，研究了不同模型大小和监督类型的LLM在五个法律MCQA基准上的性能。具体的技术细节包括奖励模型的训练方法、树搜索的搜索策略以及评估指标的选择等。这些设计旨在模拟实际应用场景，并为TTS在法律推理任务中的应用提供参考。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于验证器的TTS方法可以有效提升LLM在法律MCQA任务中的性能。具体而言，在低N预算下，通过选择合适的奖励模型和验证策略，可以在多个基准上取得显著的性能提升。研究还发现，领域专业化和监督类型对验证器的效用有重要影响，过程监督奖励模型（PRM）在某些情况下表现优于结果监督奖励模型（ORM）。

🎯 应用场景

该研究成果可应用于智能法律咨询、法律文书审查、辅助法律决策等领域。通过提升LLM在法律推理任务中的准确性和可靠性，可以提高法律服务的效率和质量，并为法律从业者提供更强大的辅助工具。未来，该研究可以扩展到其他论证领域，如政策分析、辩论等。

📄 摘要（原文）

Test-time scaling (TTS) techniques can improve the performance of large language models (LLMs) at the expense of additional computation and latency. While TTS has proven effective in formal domains such as mathematics and programming, its value in argumentative domains such as law remains underexplored. We present an empirical study of verifier-based TTS methods for legal multiple-choice QA (MCQA) across five benchmarks. Using a family of 7 reward models, we evaluate both outcome-level (Best-of-$N$) and process-level (tree search) verification under realistic low-$N$ budgets. Our analysis systematically investigates how verifier utility is affected by key properties such as domain specialization, model size, and supervision type (process-supervised PRMs vs. outcome-only ORMs), even when applied across different roles.