A Scalable Pipeline for Estimating Verb Frame Frequencies Using Large Language Models

📄 arXiv: 2507.22187v1 📥 PDF

作者: Adam M. Morgan, Adeen Flinker

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-07-29

💡 一句话要点

提出一种可扩展的流水线，利用大型语言模型估计动词框架频率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动词框架频率 大型语言模型 句法分析 自然语言处理 自动化流水线

📋 核心要点

  1. 现有动词框架频率（VFFs）计算工具在规模、准确性和可访问性方面存在局限性，阻碍了对人类和机器语言句法的深入研究。
  2. 利用大型语言模型（LLMs）生成句子语料库，并指示LLM模拟语言学专家进行句法分析，从而实现自动化的VFF估计。
  3. 实验结果表明，该流水线在多个数据集上优于传统句法分析器，并能以更少的资源实现快速、可扩展的VFF估计。

📝 摘要（中文）

本文提出了一种自动化的流水线，用于估计动词框架频率（VFFs），即动词出现在特定句法框架中的频率。VFFs为人类和机器语言系统中的句法提供了一个强大的窗口，但现有的计算工具在规模、准确性或可访问性方面受到限制。我们使用大型语言模型（LLMs）生成包含476个英语动词的句子语料库。接下来，通过指示LLM表现得像一位语言学专家，我们让它分析该语料库中句子的句法结构。该流水线在多个评估数据集上优于两种广泛使用的句法分析器。此外，它比手动分析（黄金标准）所需的资源少得多，从而实现了快速、可扩展的VFF估计。使用LLM分析器，我们生成了一个新的VFF数据库，具有更广泛的动词覆盖范围、更细粒度的句法区分，以及对心理语言学中常见结构选择的相对频率的显式估计。该流水线易于定制和扩展到新的动词、句法框架，甚至其他语言。我们将这项工作作为自动框架频率估计的概念验证，并发布所有代码和数据以支持未来的研究。

🔬 方法详解

问题定义：论文旨在解决动词框架频率（VFFs）估计的问题。现有的VFF计算工具存在规模有限、准确性不足或难以访问等问题，限制了其在语言学研究和自然语言处理中的应用。手动分析虽然是黄金标准，但成本高昂，难以扩展到大规模语料库。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的生成和理解能力，构建一个自动化的VFF估计流水线。通过让LLM生成包含目标动词的句子，并模拟语言学专家进行句法分析，从而高效地获取VFF信息。这种方法旨在降低VFF估计的成本，提高其规模和准确性。

技术框架：该流水线主要包含两个阶段：1) 语料库生成：使用LLM生成包含目标动词的句子语料库。具体而言，针对476个英语动词，使用LLM生成包含这些动词的句子。2) 句法分析：指示LLM扮演语言学专家的角色，对生成的句子进行句法分析，提取动词的句法框架信息。该阶段的关键在于设计合适的prompt，引导LLM进行准确的句法分析。

关键创新：该方法最重要的创新点在于利用LLM进行自动化的句法分析，从而避免了传统方法中耗时耗力的人工标注或依赖于性能有限的句法分析器。通过巧妙地设计prompt，使LLM能够模拟语言学专家的行为，实现高精度的句法分析。与现有方法的本质区别在于，它将句法分析的任务从传统的规则或统计模型转移到基于深度学习的LLM，从而获得了更好的泛化能力和可扩展性。

关键设计：在语料库生成阶段，需要设计合适的prompt，引导LLM生成多样化的句子，以覆盖不同的句法框架。在句法分析阶段，prompt的设计至关重要，需要清晰地指示LLM进行何种类型的句法分析，并提供足够的上下文信息。论文中可能使用了特定的prompt工程技巧，例如few-shot learning或chain-of-thought prompting，以提高LLM的句法分析能力。具体的参数设置和网络结构取决于所使用的LLM，论文中可能没有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该流水线在多个评估数据集上优于两种广泛使用的句法分析器，表明LLM在句法分析方面具有强大的潜力。此外，该方法所需的资源远少于手动分析，实现了快速、可扩展的VFF估计。使用LLM分析器生成的新VFF数据库具有更广泛的动词覆盖范围和更细粒度的句法区分。

🎯 应用场景

该研究成果可广泛应用于计算语言学、心理语言学和自然语言处理等领域。例如，可以用于研究人类语言的认知机制，提高机器翻译和文本生成的质量，以及开发更智能的对话系统。该流水线的可扩展性和可定制性使其能够适应不同的语言和句法框架，具有广泛的应用前景。

📄 摘要（原文）

We present an automated pipeline for estimating Verb Frame Frequencies (VFFs), the frequency with which a verb appears in particular syntactic frames. VFFs provide a powerful window into syntax in both human and machine language systems, but existing tools for calculating them are limited in scale, accuracy, or accessibility. We use large language models (LLMs) to generate a corpus of sentences containing 476 English verbs. Next, by instructing an LLM to behave like an expert linguist, we had it analyze the syntactic structure of the sentences in this corpus. This pipeline outperforms two widely used syntactic parsers across multiple evaluation datasets. Furthermore, it requires far fewer resources than manual parsing (the gold-standard), thereby enabling rapid, scalable VFF estimation. Using the LLM parser, we produce a new VFF database with broader verb coverage, finer-grained syntactic distinctions, and explicit estimates of the relative frequencies of structural alternates commonly studied in psycholinguistics. The pipeline is easily customizable and extensible to new verbs, syntactic frames, and even other languages. We present this work as a proof of concept for automated frame frequency estimation, and release all code and data to support future research.