Pat-DEVAL: Chain-of-Legal-Thought Evaluation for Patent Description

📄 arXiv: 2601.00166v1 📥 PDF

作者: Yongmin Yoo, Kris W Pan

分类: cs.CL

发布日期: 2026-01-01

💡 一句话要点

提出Pat-DEVAL框架，用于评估专利描述的法律合规性和技术完整性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 专利描述评估 法律合规性 大型语言模型 Chain-of-Thought 自动专利撰写

📋 核心要点

  1. 现有专利评估方法难以评估长篇专利描述的结构连贯性和法律法规遵从性，尤其是在自动专利撰写背景下。
  2. Pat-DEVAL框架通过引入Chain-of-Legal-Thought (CoLT)机制，模拟法律约束下的推理过程，从而实现更准确的评估。
  3. 实验结果表明，Pat-DEVAL在评估专利描述的法律合规性方面显著优于现有方法，Pearson相关系数达到0.69。

📝 摘要（中文）

专利描述必须在满足严格的法律标准（如可实施性和书面描述要求）的同时，提供全面的技术公开。尽管大型语言模型已经实现了端到端的自动专利撰写，但现有的评估方法无法评估专利描述的长篇结构连贯性和法规遵从性。我们提出了Pat-DEVAL，这是第一个专门用于专利描述主体的多维度评估框架。Pat-DEVAL利用LLM-as-a-judge范式，引入了Chain-of-Legal-Thought (CoLT)，这是一种法律约束的推理机制，可强制执行特定于专利法的顺序分析。在我们的Pap2Pat-EvalGold数据集上，由专利专家验证的实验表明，Pat-DEVAL实现了0.69的Pearson相关系数，显著优于基线指标和现有的LLM评估器。值得注意的是，该框架在法律专业合规性方面表现出0.73的更高相关性，证明了显式注入法规约束对于捕获细微的法律有效性至关重要。通过建立确保技术合理性和法律合规性的新标准，Pat-DEVAL为自动专利撰写系统的实际部署提供了强大的方法论基础。

🔬 方法详解

问题定义：现有方法在评估自动生成的专利描述时，无法有效衡量其是否满足专利法中的可实施性和书面描述等要求。这些要求涉及长篇文档的结构连贯性和细致的法律推理，现有评估方法难以捕捉这些细微之处。因此，如何准确评估专利描述的法律合规性成为一个关键问题。

核心思路：Pat-DEVAL的核心思路是模拟专利律师的法律推理过程，通过Chain-of-Legal-Thought (CoLT)机制，将复杂的法律评估分解为一系列有序的、特定于专利法的分析步骤。这种方法旨在使LLM评估器能够更准确地捕捉专利描述中的法律合规性问题。

技术框架：Pat-DEVAL框架主要包含以下几个阶段：首先，输入专利描述文本。然后，CoLT机制引导LLM评估器执行一系列法律分析步骤，例如，判断描述是否充分公开了技术方案，是否满足可实施性要求等。最后，根据LLM的推理结果，输出对专利描述法律合规性的评估分数。

关键创新：Pat-DEVAL的关键创新在于Chain-of-Legal-Thought (CoLT)机制。与传统的LLM评估方法不同，CoLT通过显式地注入法律约束，引导LLM进行结构化的法律推理。这种方法使得LLM能够更好地理解专利法的要求，并更准确地评估专利描述的法律合规性。

关键设计：CoLT机制的具体实现包括定义一系列特定于专利法的分析步骤，并设计相应的提示语，引导LLM按照这些步骤进行推理。例如，针对可实施性要求，CoLT可能包含以下步骤：(1) 识别技术方案的关键要素；(2) 判断描述是否充分公开了这些要素；(3) 评估本领域技术人员是否能够根据描述实施该技术方案。这些步骤被转化为提示语，输入到LLM中，引导其进行法律推理。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在Pap2Pat-EvalGold数据集上的实验表明，Pat-DEVAL实现了0.69的Pearson相关系数，显著优于基线指标和现有的LLM评估器。尤其在法律专业合规性方面，Pat-DEVAL的相关系数达到0.73，证明了CoLT机制的有效性。这些结果表明，Pat-DEVAL能够更准确地评估专利描述的法律合规性。

🎯 应用场景

Pat-DEVAL框架可应用于自动专利撰写系统的评估和优化，帮助提高生成专利描述的质量和法律合规性。此外，该框架还可用于专利审查，辅助审查员判断专利申请是否符合法律要求，从而提高审查效率和准确性。未来，该方法可以扩展到其他法律文档的评估。

📄 摘要（原文）

Patent descriptions must deliver comprehensive technical disclosure while meeting strict legal standards such as enablement and written description requirements. Although large language models have enabled end-to-end automated patent drafting, existing evaluation approaches fail to assess long-form structural coherence and statutory compliance specific to descriptions. We propose Pat-DEVAL, the first multi-dimensional evaluation framework dedicated to patent description bodies. Leveraging the LLM-as-a-judge paradigm, Pat-DEVAL introduces Chain-of-Legal-Thought (CoLT), a legally-constrained reasoning mechanism that enforces sequential patent-law-specific analysis. Experiments validated by patent expert on our Pap2Pat-EvalGold dataset demonstrate that Pat-DEVAL achieves a Pearson correlation of 0.69, significantly outperforming baseline metrics and existing LLM evaluators. Notably, the framework exhibits a superior correlation of 0.73 in Legal-Professional Compliance, proving that the explicit injection of statutory constraints is essential for capturing nuanced legal validity. By establishing a new standard for ensuring both technical soundness and legal compliance, Pat-DEVAL provides a robust methodological foundation for the practical deployment of automated patent drafting systems.