Adaptive Cost-Efficient Evaluation for Reliable Patent Claim Validation

📄 arXiv: 2604.04295 📥 PDF

作者: Yongmin Yoo, Qiongkai Xu, Longbing Cao

分类: cs.CL

发布日期: 2026-04-07

💡 一句话要点

提出ACE框架，通过自适应成本评估实现可靠的专利权利要求验证。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 专利权利要求验证 自适应评估 大型语言模型 成本效益 预测熵

📋 核心要点

  1. 现有专利权利要求验证方法在效率和准确性之间存在权衡，轻量模型精度不足，而LLM成本过高。
  2. ACE框架利用预测熵来判断权利要求的不确定性，仅将高不确定性样本送入专家LLM进行验证。
  3. 实验表明，ACE在保证高F1值（94.95%）的同时，显著降低了运营成本（降低78%）。

📝 摘要（中文）

专利权利要求的自动验证需要零缺陷容错，因为即使是单个结构缺陷也可能导致权利要求在法律上存在缺陷。现有的评估范式面临着刚性-资源困境：轻量级编码器难以处理细微的法律依赖关系，而通过大型语言模型（LLM）进行详尽的验证成本过高。为了弥合这一差距，我们提出了ACE（自适应成本高效评估），这是一个混合框架，它使用预测熵来将高不确定性的权利要求路由到专家LLM。然后，专家执行基于美国法典第35条法定标准的专利思维链（CoPT）协议。这种设计使ACE能够更有效地处理长期的法律依赖关系，同时保持效率。ACE在评估方法中实现了最佳的F1分数，达到94.95％，同时与独立的LLM部署相比，运营成本降低了78％。我们还构建了ACE-40k，这是一个包含40,000个权利要求的基准，带有基于MPEP的错误注释，以促进进一步的研究。

🔬 方法详解

问题定义：专利权利要求验证旨在确保其在法律上的有效性，现有方法要么使用轻量级模型，但无法捕捉复杂的法律依赖关系，导致准确率低；要么直接使用大型语言模型，虽然准确率高，但计算成本和时间成本都非常高昂，难以实际应用。因此，如何在保证准确率的前提下，降低验证成本，是本论文要解决的核心问题。

核心思路：论文的核心思路是“自适应”地分配计算资源。通过一个轻量级的模型来初步判断专利权利要求的“不确定性”，只有当模型认为该权利要求具有较高的不确定性时，才将其交给计算成本更高的专家LLM进行验证。这样可以避免对所有权利要求都进行昂贵的LLM验证，从而降低整体成本。

技术框架：ACE框架主要包含两个阶段：1) 初步评估阶段：使用一个轻量级的编码器（例如，基于Transformer的模型）对专利权利要求进行编码，并预测其有效性。同时，计算预测结果的熵值，作为不确定性的度量。2) 专家验证阶段：对于熵值高于某个阈值的权利要求，将其送入专家LLM进行验证。专家LLM使用Chain of Patent Thought (CoPT)协议，该协议基于美国法典第35条的法定标准，对权利要求进行更深入的分析和验证。

关键创新：ACE框架的关键创新在于其“自适应”的资源分配策略。它不是一刀切地使用同一种方法处理所有权利要求，而是根据权利要求的具体情况，选择合适的验证方法。这种策略可以在保证准确率的前提下，显著降低计算成本。此外，CoPT协议的设计也使得LLM能够更好地理解和应用专利法律标准。

关键设计：ACE框架的关键设计包括：1) 预测熵的计算方法：熵值用于衡量模型预测的不确定性，选择合适的熵计算方法至关重要。2) 熵阈值的设定：阈值决定了有多少权利要求会被送入专家LLM进行验证，需要根据实际情况进行调整。3) CoPT协议的具体内容：CoPT协议指导LLM如何进行专利法律分析，需要根据美国法典第35条的法定标准进行精心设计。4) 轻量级编码器的选择：需要选择一个既能捕捉关键信息，又能保持计算效率的编码器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ACE框架在专利权利要求验证任务上取得了显著的性能提升。实验结果表明，ACE在达到94.95%的F1值的同时，相比于直接使用LLM，运营成本降低了78%。此外，论文还构建了一个包含40,000个权利要求的基准数据集ACE-40k，为该领域的研究提供了宝贵资源。

🎯 应用场景

ACE框架可应用于专利审查机构、律师事务所和企业知识产权部门，用于提高专利权利要求验证的效率和准确性，降低运营成本。该框架还可扩展到其他需要高可靠性和成本效益的法律文本分析任务中，例如合同审查、法律咨询等。未来，ACE框架可以集成到自动化专利管理系统中，实现专利全生命周期的智能化管理。

📄 摘要（原文）

Automated validation of patent claims demands zero-defect tolerance, as even a single structural flaw can render a claim legally defective. Existing evaluation paradigms suffer from a rigidity-resource dilemma: lightweight encoders struggle with nuanced legal dependencies, while exhaustive verification via Large Language Models (LLMs) is prohibitively costly. To bridge this gap, we propose ACE (Adaptive Cost-efficient Evaluation), a hybrid framework that uses predictive entropy to route only high-uncertainty claims to an expert LLM. The expert then executes a Chain of Patent Thought (CoPT) protocol grounded in 35 U.S.C. statutory standards. This design enables ACE to handle long-range legal dependencies more effectively while preserving efficiency. ACE achieves the best F1 among the evaluated methods at 94.95\%, while reducing operational costs by 78\% compared to standalone LLM deployments. We also construct ACE-40k, a 40,000-claim benchmark with MPEP-grounded error annotations, to facilitate further research.