DECODEM: Data Extraction from Corporate Organizational Documents via Enhanced Methods
作者: Jens Frankenreiter
分类: cs.CL, cs.AI, cs.CY
发布日期: 2026-07-20
💡 一句话要点
提出DECODEM以解决企业组织文件数据提取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据提取 公司治理 大型语言模型 基准数据集 自动化研究
📋 核心要点
- 现有方法依赖人工编码，成本高且难以扩展，导致数据提取过程不透明。
- 论文提出DECODEM基准数据集，结合高质量人类注释，评估自动提取公司治理变量的有效性。
- 实验结果显示，自动提取在多个条款上具有高准确性，且不同变量的性能差异明显。
📝 摘要（中文）
许多实证法律研究依赖于将非结构化文本转换为结构化变量。在公司治理研究中，这一过程通常依赖人工编码文件，如章程和细则，成本高、难以扩展且不透明。本文介绍了DECODEM，一组用于评估从组织文件中自动提取公司治理变量的基准数据集。通过这些数据集，论文评估了几种大型语言模型提取管道，结果表明，自动提取在许多条款上具有高准确性，且当前前沿模型能够从复杂的公司文件中提取法律意义的信息。
🔬 方法详解
问题定义：本文旨在解决从企业组织文件中自动提取公司治理变量的具体问题。现有方法依赖人工编码，面临高成本、难以扩展和透明度低等痛点。
核心思路：论文提出DECODEM基准数据集，结合高质量的人类注释，评估多种大型语言模型的提取能力，旨在提高提取的准确性和效率。
技术框架：整体架构包括数据集构建、模型选择、提取管道设计和性能评估四个主要模块。数据集由随机抽样的公司章程和细则组成，模型通过不同的提示设计和任务分解进行训练和评估。
关键创新：最重要的技术创新点在于提供了标准化的基准和系统的评估方法，展示了当前前沿模型在提取法律信息方面的高准确性，强调了管道设计在模型能力中的重要性。
关键设计：在模型设计中，采用了多种提示策略和任务分解方法，评估了不同的文档处理方式，确保在不同设置下的性能优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，自动提取在多个公司治理条款上实现了接近上限的中位性能，且在某些设置下，复杂的提示策略显著缩小了前沿模型与效率导向模型之间的性能差距，展示了模型设计的重要性。
🎯 应用场景
该研究的潜在应用领域包括法律研究、公司治理分析和自动化数据处理。通过提高数据提取的效率和准确性，DECODEM能够为研究人员和企业提供更可靠的治理数据，推动相关领域的实证研究和决策支持。
📄 摘要（原文）
Much empirical legal research depends on translating unstructured text into structured variables. In corporate governance research as elsewhere, this translation has traditionally relied on human coding of documents such as charters and bylaws, a process that is costly, difficult to scale, and often opaque. This paper introduces DECODEM, a set of benchmark datasets for evaluating the automated extraction of corporate governance variables from organizational documents. The benchmarks pair randomly sampled corporate charters and bylaws with high-quality human annotations covering a range of governance provisions commonly studied in empirical work.Using these datasets, the paper evaluates several large-language-model extraction pipelines that vary in prompt design, task decomposition, and document handling. The underlying task consists of a set of document-level binary classification problems, one for each governance variable. The results show that automated extraction is feasible at a high level of accuracy for many provisions, with median performance near the upper bound across approaches. At the same time, performance varies systematically across variables, with a small number of provisions accounting for most of the remaining errors. More elaborate prompting strategies and cascading pipelines do not consistently improve performance for frontier models, but substantially narrow the gap between frontier and efficiency-oriented models in some settings, suggesting that pipeline design can partly substitute for model capability.By providing a standardized benchmark and a systematic evaluation of extraction methods, the paper demonstrates that current frontier models can extract legally meaningful information from complex corporate documents with high accuracy and suggests an important future role for automated feature extraction in constructing corporate governance datasets.