VEX-Bench: Benchmarking Verification Complexity of LLM-Generated Misinformation

📄 arXiv: 2609.35028v1 📥 PDF

作者: Hanxun Huang, Yutao Wu, Qizhou Wang, Silvia Montaña-Niño, Yige Li, Xiang Zheng, Elif Buse Doyuran, Phoebe Matich, Xiao Liu, Xingjun Ma, Sarah Erfani, Christopher Leckie

分类: cs.LG, cs.AI, cs.CL, cs.CY, cs.IR

发布日期: 2026-09-28

备注: NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出VEX-Bench以评估LLM生成虚假信息的验证复杂性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚假信息 验证复杂性 大型语言模型 多维评估 事实核查 资源分配 信息生态系统

📋 核心要点

  1. 现有的验证方法在面对LLM生成的虚假信息时，往往无法有效评估其复杂性，导致资源分配不当。
  2. 本文提出VEX-Bench基准，通过多维度评估LLM生成虚假信息的验证复杂性，帮助媒体和事实核查机构优化验证流程。
  3. 实验结果表明，LLM生成的高VEX虚假信息在验证成本上比基于代理的验证低3到169倍，显示出资源配置的风险。

📝 摘要（中文）

大型语言模型（LLMs）使得虚假信息的生成成本低廉，但验证却变得复杂，导致信息生态系统的不对称。本文提出VEX-Bench，这是一个统一的基准，用于评估LLM生成虚假信息的验证复杂性，涵盖多个维度，包括可检查性、潜在危害、来源可信度信号等。我们定义VEX分数为一个综合指标，量化生成内容对有限验证能力的消耗。通过构建涵盖两类虚假信息、六个高风险领域和60个真实世界主题的基准，我们评估了7个前沿LLM和7种生成方法，发现没有单一方法在所有维度上占优，强调了多维评估的必要性。

🔬 方法详解

问题定义：本文旨在解决LLM生成虚假信息的验证复杂性评估问题。现有方法在资源有限的情况下，无法有效筛选和验证信息，导致验证资源的浪费和错误分配。

核心思路：VEX-Bench通过定义VEX分数，综合考虑生成内容的可检查性、潜在危害等多个维度，提供一个统一的评估框架，以量化虚假信息的验证复杂性。

技术框架：该框架包括数据集构建、维度评估、LLM作为评估者的自动化评估流程，以及与事实核查代理的验证对比。数据集涵盖两类虚假信息和多个高风险领域，确保评估的全面性。

关键创新：VEX-Bench的创新在于其多维度评估方法，结合了新闻实践和事实核查的标准，能够全面反映虚假信息的验证复杂性，而不仅仅依赖单一指标。

关键设计：在设计中，VEX分数结合了信息的可检查性和验证复杂性，采用了Ordinal Krippendorff $α$来评估标注者间的一致性，并通过内容分析方法进行验证，确保评估结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLM生成的高VEX虚假信息在验证成本上比传统的代理验证低3到169倍，且在多维度评估中没有单一方法在所有维度上占优，强调了多维评估的重要性。这一发现为资源分配和验证策略提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括媒体机构、社交平台和事实核查组织，能够帮助这些机构在资源有限的情况下，优化虚假信息的筛选和验证流程，从而提高信息的准确性和可信度。未来，VEX-Bench有望成为虚假信息验证领域的标准工具，推动相关研究的发展。

📄 摘要（原文）

Large language models (LLMs) have made misinformation inexpensive to produce but not to verify, creating a growing asymmetry in the information ecosystem. Under tight time, labor, and budget constraints, media organizations, platforms, and fact-checkers rely on screening to prioritize which content to verify. We introduce VEX-Bench, a unified benchmark for evaluating the verification complexity of LLM-generated misinformation, as perceived during screening, across models and generation methods. Verification complexity is assessed along multiple dimensions derived from journalistic and fact-checking practices, capturing checkability, harm potential, source credibility signals, imposter legitimacy, and expected verification effort. We define the VEX score as an integrated measure combining elicitation yield and verification complexity to quantify how generated content consumes limited verification capacity. We construct a benchmark spanning two misinformation categories, 6 high-stakes domains, and 60 real-world topics, and evaluate 7 frontier LLMs and 7 generation methods, yielding 5{,}880 articles. We employ an LLM-as-judge for scalable evaluation and validate it using content-analysis methodology, including ordinal Krippendorff $α$ for inter-annotator reliability, complemented by fact-checking agents for verification. Our findings show that no single method dominates all dimensions, underscoring the need for multi-dimensional evaluation. LLMs can generate high-VEX misinformation at 3$\times$ to 169$\times$ lower cost than agent-based verification. Such content is often prioritized during screening, consuming scarce verification resources and introducing a systematic risk of misallocation in resource-constrained verification systems. The code is publicly available in our \href{https://github.com/HanxunH/VEX-Bench}{GitHub repository}.