Anticipating Innovation Using Large Language Models
作者: Enrico Maria Fenoaltea, Filippo Santoro, Giordano De Marzo, Segun Taofeek Aroyehun, Andrea Tacchella
分类: cs.CL, cs.AI, cs.CY
发布日期: 2026-05-06
备注: 16 pages, 4 figures
💡 一句话要点
提出TechToken模型，利用专利语言预测未来技术组合创新。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 技术创新预测 专利分析 自然语言处理 Transformer模型 技术融合
📋 核心要点
- 现有方法难以提前预测技术创新，尤其是在早期阶段捕捉潜在的技术组合。
- 论文提出TechToken模型，通过学习专利文本中技术代码的语言表征，捕捉技术融合的早期信号。
- 实验表明，TechToken能有效预测未来的技术组合，并在专利相关任务中优于现有模型。
📝 摘要（中文）
预测创新，即新技术组合的出现，是科学和政策领域的一项根本性挑战。本文表明，即将出现的技术组合在专利的集体语言中留下了早期痕迹，甚至可以在提前几十年检测到预测信号。这种信号并非归因于任何单个发明人，而是作为一种集体转变而出现，体现在成千上万的专利中对技术的描述方式。为此，我们引入了TechToken，这是一种基于Transformer的模型，它将技术（按国际专利分类代码分类）视为其词汇表中的单词，通过在微调期间嵌入这些代码来学习技术的语言。我们将代码嵌入之间的上下文相似性定义为语言融合的度量，并表明它可以准确地预测首次技术组合。TechToken还提高了通用表示质量，在不同的专利相关任务中优于最先进的模型。
🔬 方法详解
问题定义：论文旨在解决技术创新预测的问题，特别是预测未来可能出现的新技术组合。现有方法往往难以在早期阶段捕捉到这些潜在的创新，因为它们可能尚未在实际产品或应用中显现。因此，需要一种能够从早期信号中预测技术组合的方法。
核心思路：论文的核心思路是，未来的技术组合会在专利文本中留下早期痕迹，体现在对相关技术的描述方式上。通过学习专利文本中技术代码的语言表征，可以捕捉到这些早期信号，并预测未来的技术组合。这种思路基于语言的演化反映了技术发展的趋势。
技术框架：TechToken模型的整体框架包括以下几个阶段：1) 数据收集：收集大量的专利文本数据，并提取其中的国际专利分类（IPC）代码。2) 词汇构建：将IPC代码视为“单词”，构建TechToken模型的词汇表。3) 模型训练：使用Transformer架构，在专利文本数据上对TechToken模型进行微调，学习IPC代码的语言表征。4) 相似度计算：计算不同IPC代码嵌入之间的上下文相似度，作为技术融合的度量。5) 预测：基于相似度度量，预测未来可能出现的技术组合。
关键创新：论文最重要的技术创新点在于将技术创新预测问题转化为一个语言建模问题。通过将IPC代码视为“单词”，并利用Transformer模型学习其语言表征，可以有效地捕捉到技术融合的早期信号。与现有方法相比，TechToken模型能够更早地预测未来的技术组合，并且具有更好的通用表示质量。
关键设计：TechToken模型基于Transformer架构，使用标准的自注意力机制和前馈神经网络。关键的设计在于将IPC代码作为词汇表中的“单词”，并使用大量的专利文本数据进行微调。损失函数采用标准的交叉熵损失函数，优化器采用AdamW。模型训练过程中，需要仔细调整学习率、batch size等超参数，以获得最佳的性能。
🖼️ 关键图片
📊 实验亮点
TechToken模型在预测未来技术组合方面表现出色，能够提前数年甚至数十年预测技术融合。实验结果表明，TechToken模型在专利相关任务中优于现有最先进的模型，例如在技术分类和专利检索等任务中取得了显著的性能提升。该模型能够有效捕捉技术融合的早期信号，为技术创新预测提供了一种新的方法。
🎯 应用场景
该研究成果可应用于科技情报分析、技术趋势预测、创新战略制定等领域。政府机构和企业可以利用该模型预测未来可能出现的技术组合，从而提前布局相关技术领域，抢占市场先机。此外，该模型还可以用于评估现有技术的潜在应用，发现新的商业机会。
📄 摘要（原文）
Forecasting innovation, intended as the emergence of new technological combinations, is a fundamental challenge for science and policy. We show that forthcoming combinations leave an early trace in the collective language of patents, with predictive signals detectable even decades in advance. We show that signal is not attributable to any single inventor, but emerges as a collective shift in how technologies are described across thousands of patents. To this end, we introduce TechToken, a transformer-based model that treats technologies, classified by International Patent Classification codes, as words in its vocabulary, learning the language of technologies by embedding these codes during fine-tuning. We define context similarity between code embeddings as a measure of linguistic convergence and show that it accurately predicts first technological combinations. TechToken also improves general representation quality, outperforming state-of-the-art models across different patent-related tasks.