Argument Quality Assessment with Large Language Models: A Pairwise Bradley-Terry Approach

📄 arXiv: 2605.28313v1 📥 PDF

作者: Nicolás Benjamín Ocampo, Agnes Paullate Nyiranziza, Davide Ceolin

分类: cs.CL

发布日期: 2026-05-27

💡 一句话要点

利用大型语言模型和Bradley-Terry模型进行论证质量评估。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 论证质量评估 大型语言模型 Bradley-Terry模型 成对比较 自然语言处理

📋 核心要点

  1. 论证质量评估需要严谨的评估方法，现有方法难以充分利用大型语言模型的推理和判断能力。
  2. 论文提出使用大型语言模型进行论证质量的成对比较，并结合Bradley-Terry模型推断论证强度。
  3. 实验结果表明，大型语言模型与人类专家判断具有一定相关性，Llama-70B模型表现最佳。

📝 摘要（中文）

本文研究了大型语言模型（LLMs）在论证质量评估任务中的能力。作者测试了12个不同规模和系列的开源LLMs，在零样本、少样本和思维链提示下，对论证质量的逻辑性、修辞性和辩证性三个维度进行专家成对比较的近似。然后，使用这些比较结果在Bradley-Terry模型中推断潜在的强度得分，并得出论证的排序。结果表明，LLMs与人类专家判断具有一定相关性，其中Llama-70B表现最佳，Cohen's $κ$ = 0.493，与基于人类标注的Bradley-Terry得分具有中等相关性（Kendall, Pearson, Spearman: 0.327-0.477）。其他LLMs虽然在模型大小和系列上存在差异，但与Llama-70B表现出弱、中或高的对齐，同时在与人类专家比较中取得了相当的结果，表明它们对潜在质量维度有部分但互补的理解。此外，LLM预测在多次试验中是稳定的，只有不到7.75%的案例产生不同的标签。剩余的可变性通过多数投票和大型模型的小样本提示来处理。

🔬 方法详解

问题定义：论文旨在解决论证质量评估问题，即如何利用大型语言模型自动评估论证的质量。现有方法的痛点在于难以有效利用LLM的推理能力，并且缺乏对论证质量多维度（逻辑性、修辞性、辩证性）的综合评估。

核心思路：论文的核心思路是利用LLM模拟人类专家进行论证质量的成对比较，然后使用Bradley-Terry模型将这些成对比较结果转化为论证的潜在强度得分，从而实现论证的排序。这种方法将复杂的论证质量评估问题分解为更易于处理的成对比较任务，并利用Bradley-Terry模型进行全局一致性建模。

技术框架：整体框架包括以下几个阶段： 1. 数据准备：收集包含多个论证的数据集，并定义论证质量的维度（逻辑性、修辞性、辩证性）。 2. LLM成对比较：使用不同的LLM（如Llama-70B）在零样本、少样本和思维链提示下，对论证进行成对比较，判断哪个论证的质量更高。 3. Bradley-Terry模型：将LLM的成对比较结果输入到Bradley-Terry模型中，推断每个论证的潜在强度得分。 4. 论证排序：根据Bradley-Terry模型输出的强度得分对论证进行排序，得到论证质量的最终评估结果。

关键创新：论文的关键创新在于将LLM的成对比较能力与Bradley-Terry模型相结合，提出了一种新的论证质量评估方法。这种方法充分利用了LLM的推理能力，并能够对论证质量进行多维度评估。与现有方法相比，该方法更加灵活和可扩展，可以应用于不同的论证数据集和LLM。

关键设计：论文的关键设计包括： 1. 提示工程：设计不同的提示策略（零样本、少样本、思维链）来引导LLM进行成对比较。 2. Bradley-Terry模型参数：使用标准的Bradley-Terry模型，并采用最大似然估计方法来估计模型参数。 3. 多数投票：对于LLM预测结果存在差异的情况，采用多数投票的方式来确定最终的比较结果。 4. 模型选择：测试了多个不同规模和系列的LLM，并选择性能最佳的模型（Llama-70B）作为主要评估模型。

📊 实验亮点

实验结果表明，Llama-70B模型在论证质量评估任务中表现最佳，与人类专家判断具有中等相关性（Cohen's $κ$ = 0.493），与基于人类标注的Bradley-Terry得分具有中等相关性（Kendall, Pearson, Spearman: 0.327-0.477）。此外，LLM预测在多次试验中具有较高的稳定性，只有不到7.75%的案例产生不同的标签。

🎯 应用场景

该研究成果可应用于自动论证评估、辩论系统、在线评论分析等领域。通过自动评估论证质量，可以提高信息检索的效率，促进更有效的在线讨论，并为教育领域提供自动反馈工具。未来，该方法可以扩展到其他类型的文本评估任务，例如新闻质量评估、科学论文评估等。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable capabilities in tasks related to reasoning and judgment. However, assessing the quality of arguments requires a rigorous evaluation. We investigate the extent to which LLMs can effectively perform this task. We tested 12 open-weight LLMs of different sizes and families under zero-shot, few-shot, and chain-of-thought to approximate expert pairwise comparisons of argument quality across three dimensions-logical, rhetorical, and dialectic-and used these comparisons in a Bradley-Terry model to infer latent strength scores and derive a ranking of arguments. Our insights show that LLMs have promising but moderate correlation with human expert judgments, with Llama-70B obtaining the strongest alignment, reaching moderate Cohen's $κ$ = 0.493 and moderate correlations with Bradley-Terry scores derived from these annotations (Kendall, Pearson, and Spearman: 0.327-0.477). Other LLMs exhibit weak, moderate, or high alignment with Llama-70B while achieving comparable results against human experts, suggesting partial but complementary understanding of underlying quality dimensions despite differences in model size and family. Moreover, LLM predictions are stable across trial runs, with fewer than 7.75\% of cases yielding different labels. Remaining variability is handled via majority voting and few-shot prompting for large-size models.