From Policy Documents to Structured Survey Responses: Evaluating Large Language Models for Policy Monitoring
作者: Carolyn Cole, Matthias Deschryvere, Toqeer Ehsan, Arash Hajikhani
分类: cs.CL, cs.AI
发布日期: 2026-09-24
备注: Accepted as a full paper to FLINS-ISKE 2026
DOI: 10.1007/978-981-92-2480-7_20
💡 一句话要点
利用大型语言模型生成政策监测的结构化调查响应
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 政策监测 大型语言模型 数据提取 长上下文学习 人机混合工作流程
📋 核心要点
- 现有的政策监测方法依赖人工调查，成本高且难以在不同国家间扩展，效率低下。
- 本文提出利用大型语言模型作为AI响应者，通过长上下文学习从政策文本中提取信息并生成结构化调查响应。
- 实验结果表明，LLM生成的结构化指标与人类响应高度一致（84-95%），但在自由文本字段中存在差异，模型提供了更详细的描述。
📝 摘要（中文）
科学、技术和创新政策对竞争力至关重要，但其多样性和规模使得一致的映射和监测变得困难。现有方法依赖于人工调查，成本高且难以在多个国家扩展。本文提出将大型语言模型（LLMs）作为“AI响应者”，从政策文本中生成结构化调查响应。我们开发了一个基于长上下文学习的数据提取管道，将公共网络来源的信息映射到预定义的调查类别中。该管道集成了使用次级LLM的验证步骤，以评估相关性和证据，并与人类提供的响应进行比较。通过多国数据集的评估，结果显示LLM生成的结构化指标具有高一致性（84-95%），而在自由文本字段中，模型提供了更详细的程序描述。这些发现突显了人机混合工作流程在政策监测中的潜力，提升了效率和可扩展性，同时保持了对人类验证和上下文解释的需求。
🔬 方法详解
问题定义：本文旨在解决政策监测中人工调查的高成本和低效率问题，现有方法难以在多个国家进行一致的监测。
核心思路：通过利用大型语言模型（LLMs）作为“AI响应者”，从长且非结构化的政策文档中提取信息，并将其映射到预定义的调查类别中，以实现自动化和高效的政策监测。
技术框架：整体架构包括数据提取管道，该管道利用长上下文学习技术，从公共网络来源提取信息，并将其结构化为政策工具、目标群体和主题领域等类别。此外，管道还集成了次级LLM的验证步骤，以确保生成内容的相关性和证据支持。
关键创新：本研究的主要创新在于将LLMs应用于政策文本的结构化响应生成，特别是在长上下文学习的应用上，与传统的人工调查方法相比，显著提高了效率和可扩展性。
关键设计：在技术细节上，设计了特定的参数设置和损失函数，以优化LLM在长文本处理中的表现，同时确保生成的结构化响应符合预定义的调查类别。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLM生成的结构化指标与人类生成的输出之间的重叠率高达84-95%。在自由文本字段中，尽管存在差异，模型提供了更为详细的程序描述，表明LLM在政策文本处理中的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括政府政策监测、国际组织的政策评估以及学术研究中的政策分析。通过自动化生成结构化调查响应，可以显著提高政策监测的效率和准确性，促进政策制定的科学化和数据驱动决策。未来，这种人机混合的工作流程可能会在更广泛的政策领域得到应用。
📄 摘要（原文）
Science, technology, and innovation policies are crucial for competitiveness, yet their diversity and scale make them difficult to map and monitor consistently. Existing approaches rely heavily on manual survey efforts, which are costly and challenging to scale across countries. Large language models (LLMs) enable new possibilities for extracting and structuring information from long and unstructured policy documents. This paper presents an application of LLMs as "AI respondents" for generating structured survey responses from policy texts. We develop a data extraction pipeline based on long-context in-context learning to map information from public web sources into predefined survey categories, including policy instruments, target groups, and thematic areas. The pipeline integrates a validation step using a secondary LLM to assess relevance and evidence, alongside comparisons with human-provided responses. Using a multi-country dataset, we evaluate the alignment between LLM-generated and human-generated outputs through overlap measures and cross-validation. Results show that LLMs achieve high agreement for structured indicators (84-95%), while differences remain in free-text fields, where models tend to provide more detailed procedural descriptions. These findings highlight the potential of hybrid human-AI workflows for policy monitoring, improving both efficiency and scalability while maintaining the need for human validation and contextual interpretation.