Large Language Model for Patent Concept Generation

📄 arXiv: 2409.00092v3 📥 PDF

作者: Runtao Ren, Jian Ma, Jianxi Luo

分类: cs.CL, cs.AI

发布日期: 2024-08-26 (更新: 2025-04-08)

备注: Accepted for publication in Advanced Engineering Informatics, Link: https://doi.org/10.1016/j.aei.2025.103301

期刊: Advanced Engineering Informatics 65 (2025): 103301

DOI: 10.1016/j.aei.2025.103301

💡 一句话要点

提出PatentGPT，通过知识精调提升大语言模型在专利概念生成中的创新能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 专利概念生成 知识精调 领域知识 强化学习

📋 核心要点

  1. 现有大语言模型缺乏领域专业知识，难以胜任创新概念和专利的生成任务。
  2. 提出知识精调框架KFT，使LLM能够自主学习、理解和应用领域知识，用于发明创造。
  3. PatentGPT集成了知识注入预训练、领域监督微调和基于人类反馈的强化学习，显著提升了专利生成性能。

📝 摘要（中文）

传统创新实践中，概念和知识产权的生成通常迭代进行，两者都需要对高级技术领域知识的深入理解。现有的大语言模型（LLMs）虽然拥有海量的预训练知识，但由于缺乏生成创新概念所需的专业知识，在创新概念生成方面往往表现不足。为了弥合这一关键差距，我们提出了一种新的知识精调（KFT）框架，使基于LLM的AI能够自主挖掘、理解和应用领域特定的知识和概念，从而进行发明创造，即概念和专利的协同生成。我们提出的PatentGPT集成了知识注入预训练（KPT）、领域特定的监督微调（SFT）以及基于人类反馈的强化学习（RLHF）。广泛的评估表明，PatentGPT在专利相关的基准测试中显著优于最先进的模型。我们的方法不仅为数据驱动的创新提供了新的见解，也为在技术背景下微调LLM开辟了一条新途径。我们还讨论了人工智能生成发明在未来的管理和政策影响。

🔬 方法详解

问题定义：论文旨在解决大语言模型在专利概念生成任务中，由于缺乏特定领域知识而表现不足的问题。现有方法难以将通用知识迁移到专业领域，导致生成的概念缺乏创新性和实用性。

核心思路：论文的核心思路是通过知识精调（Knowledge Finetuning, KFT）框架，使LLM能够自主地学习、理解和应用专利领域的专业知识。通过注入领域知识，提升模型在专利概念生成方面的能力。

技术框架：PatentGPT的整体框架包含三个主要阶段：1) 知识注入预训练（Knowledge Injection Pre-training, KPT）：利用专利数据进行预训练，使模型初步掌握领域知识。2) 领域特定的监督微调（Domain-Specific Supervised Finetuning, SFT）：使用标注好的专利数据对模型进行微调，使其能够生成符合要求的专利概念。3) 基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）：利用人类反馈信号，进一步优化模型的生成质量。

关键创新：该方法最重要的创新点在于提出了知识精调框架KFT，该框架能够有效地将领域知识注入到LLM中，从而提升模型在特定任务上的性能。与传统的微调方法相比，KFT更加注重知识的获取和利用。

关键设计：KPT阶段，使用了专利文本数据进行Masked Language Modeling (MLM) 预训练，并可能结合了知识图谱等外部知识源。SFT阶段，使用了包含输入（例如：技术描述）和输出（例如：专利概念）的专利数据对进行监督学习。RLHF阶段，设计了奖励模型，根据人类对生成结果的偏好进行打分，并使用强化学习算法（例如：PPO）优化生成策略。具体的损失函数和网络结构细节未知。

📊 实验亮点

实验结果表明，PatentGPT在专利相关的基准测试中显著优于现有最先进的模型。具体的性能数据和提升幅度未知，但摘要强调了其在专利生成任务上的优越性，证明了知识精调框架的有效性。

🎯 应用场景

该研究成果可应用于智能专利挖掘、辅助发明创造、技术趋势预测等领域。通过提升AI在专利概念生成方面的能力，可以加速创新过程，降低研发成本，并为企业提供更有效的知识产权保护策略。未来，该技术有望应用于更广泛的科技创新领域。

📄 摘要（原文）

In traditional innovation practices, concept and IP generation are often iteratively integrated. Both processes demand an intricate understanding of advanced technical domain knowledge. Existing large language models (LLMs), while possessing massive pre-trained knowledge, often fall short in the innovative concept generation due to a lack of specialized knowledge necessary for the generation. To bridge this critical gap, we propose a novel knowledge finetuning (KFT) framework to endow LLM-based AI with the ability to autonomously mine, understand, and apply domain-specific knowledge and concepts for invention generation, i.e., concept and patent generation together. Our proposed PatentGPT integrates knowledge injection pre-training (KPT), domain-specific supervised finetuning (SFT), and reinforcement learning from human feedback (RLHF). Extensive evaluation shows that PatentGPT significantly outperforms the state-of-the-art models on patent-related benchmark tests. Our method not only provides new insights into data-driven innovation but also paves a new path to fine-tune LLMs for applications in the context of technology. We also discuss the managerial and policy implications of AI-generating inventions in the future.