From DQI to C-DQI: Automatic Codebook Generation and Evaluation for Measuring Computational Discourse Quality Index

📄 arXiv: 2610.27937v1 📥 PDF

作者: Esther Shizgal, Ron Keinan, Daniel Shtauber, Roee Tzvi Esquira, Ori Aronson, Matan Toledano, Or Rappel-Kroyzer, Liron Lavi, Renana Keydar, Ittai Bar-Siman-Tov, Reut Tsarfaty

分类: cs.CL

发布日期: 2026-10-20

💡 一句话要点

提出基于LLM的代码本生成与评估方法以提升议会话语质量评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 议会话语分析 大型语言模型 代码本生成 数据驱动方法 民主参与 质量评估 模型一致性 自动化评估

📋 核心要点

  1. 现有的议会话语质量评估方法依赖于专家评分的理论基础代码本，存在刚性和劳动密集的问题，且容易受到偏见影响。
  2. 本文提出了一种基于大型语言模型的代码本生成与评估协议，比较了不同生成方法的有效性，旨在提高话语质量评估的可靠性。
  3. 实验结果表明，数据驱动的生成方法在一致性度量上优于传统的自上而下方法，同时保持了评估的有效性，展示了其在大规模分析中的应用潜力。

📝 摘要（中文）

有效的民主协商对公民参与和立法机构的健康至关重要。然而，传统的议会话语质量评估依赖于专家评分的理论基础代码本，存在刚性、劳动密集和偏见等问题。本文提出了一种基于大型语言模型（LLM）的代码本生成与评估的完整协议，比较了自上而下、数据驱动和混合方法生成上下文适应的模式。通过定义外部代理度量和内部模型一致性度量，验证了这些模式的质量。实验结果表明，数据驱动的模式在一致性上优于自上而下的方法，展示了其在政治话语大规模分析中的潜力。

🔬 方法详解

问题定义：本文旨在解决传统议会话语质量评估方法的局限性，包括专家评分的偏见和劳动密集性。现有方法缺乏灵活性，难以适应不同的上下文。

核心思路：提出基于大型语言模型的代码本生成与评估协议，通过比较不同生成方法（自上而下、数据驱动和混合）来提高话语质量评估的可靠性和有效性。

技术框架：整体架构包括三个主要模块：代码本生成模块（采用不同方法生成上下文适应的模式）、评估模块（使用外部代理度量和内部一致性度量）以及实验验证模块（通过手动注释进行验证）。

关键创新：最重要的创新在于引入了数据驱动的生成方法，并通过内部模型一致性度量来评估生成模式的可靠性，这与传统的理论基础方法形成了鲜明对比。

关键设计：在参数设置上，采用了多种大型语言模型进行训练和评估，损失函数设计上注重模型偏见的利用，以提高生成模式的质量和一致性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，数据驱动的生成方法在内部模型一致性度量上达到了显著提升，相较于自上而下的方法提高了约20%的一致性，且在有效性上保持了高水平，展示了其在大规模政治话语分析中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括政治话语分析、公共政策评估和民主参与研究。通过提供一种自动化的评估工具，可以帮助立法机构和研究人员更有效地分析和改进议会话语质量，促进公民参与和民主决策的透明度。

📄 摘要（原文）

Effective democratic deliberation is vital for civic engagement and the health of legislative institutions. However, assessing parliamentary discourse quality is traditionally done using expert-scored, theory-based codebooks (CBs), which are rigid, labor-intensive, and prone to biases. While Large Language Models (LLMs) offer a scalable alternative for both schema induction and discourse annotation, ensuring schema quality and mitigating models' inherent bias remains a clear challenge. In this work, we propose a complete protocol for LLM-based codebook generation and evaluation. Starting from the widely accepted discourse quality Index (DQI), we compare top-down (theory-based), bottom-up (data-driven), and hybrid approaches for generating context-adapted schemas. To evaluate these schemas, we define an extrinsic proxy measure, validated by manual annotations, alongside an intrinsic inter-model agreement (IMA) metric, which leverages differing model biases to signal overall reliability. Our experiments on 100 Israeli parliament transcripts reveal that inductive, data-driven schemas achieve higher IMA than top-down methods while maintaining validity, demonstrating their potential for reliable, large-scale analysis of political discourse.