JEV versus LLMs: Accuracy, Cost and Calibration on Seven Political Science Replications

📄 arXiv: 2610.06625v1 📥 PDF

作者: Matthew DiGiuseppe, Steven Denney

分类: cs.CL, cs.CY

发布日期: 2026-10-05

备注: 71 pages, 2 figures, 14 tables (including appendices)

💡 一句话要点

比较JEV与LLMs在政治科学任务中的准确性与成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治文本分析 决策校准 成本效益 社会科学研究

📋 核心要点

  1. 现有的LLMs在处理政治文本时，准确性和成本效益尚未得到充分验证，尤其是在社会科学领域。
  2. 本文提出的JEV模型通过返回决策和概率分布，旨在提供更高的决策校准和更低的成本。
  3. 实验结果显示，JEV在多项任务中与LLMs表现相近，但在成本方面未能超越GPT-6 Luna，且在概率校准上表现不一。

📝 摘要（中文）

大型语言模型（LLMs）通过生成文本标记和扩展政治文本或构造，而新型模型JEV则返回决策和概率分布。JEV被宣传为在成本和速度上优于传统LLMs，并提供更好的决策校准。本文通过与LLMs及人类编码者的比较，评估JEV在社会科学任务中的适用性。结果表明，JEV在多项任务中与LLMs的能力相当，但在OpenAI的批量价格下并未显示出成本优势。尽管JEV的概率校准优于GPT-6 Luna，但与Qwen3.8-27B相比并不一致。除非研究者需要快速处理，JEV的主要优势在于解析选择概率的便利性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在社会科学文本任务中的准确性和成本效益问题，尤其是JEV模型的有效性尚未得到验证。

核心思路：JEV模型通过返回固定答案集的决策和概率分布，提供更高的决策校准，旨在为社会科学研究提供快速且经济的文本标注解决方案。

技术框架：研究比较了JEV与当前中档商业LLM（GPT-6 Luna）和开源替代品（Qwen3.8-27B），通过多项任务评估其性能。主要模块包括模型输出的决策、概率校准和成本分析。

关键创新：JEV的创新在于其决策返回机制和概率分布的校准能力，与传统LLMs生成文本的方式形成鲜明对比。

关键设计：在实验中，JEV的参数设置和损失函数设计旨在优化决策的准确性和概率的校准性，具体细节包括选择合适的训练数据集和评估标准。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，JEV在多项任务中与GPT-6 Luna和Qwen3.8-27B的能力相当，但在成本方面未显示出优势。JEV的概率校准在某些情况下优于GPT-6 Luna，但与Qwen3.8-27B的表现不一致，显示出其在特定任务中的潜力。

🎯 应用场景

该研究的潜在应用领域包括社会科学研究、政治文本分析和数据标注等。JEV模型的优势在于其快速处理能力和决策校准，能够帮助研究者高效地处理大规模文本数据，提升研究效率。未来，JEV可能会在其他领域的文本分析中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) annotate and scale political text or constructs by generating text tokens. A new class of models, which TypeSafe markets as "System One" models, instead returns decisions and probability distributions across a user-supplied fixed answer set. A commercial model, JEV, is advertised as having a dramatic cost and speed advantage over traditional LLMs along with better calibrated decisions. As such, it might be useful for social scientists looking to quickly and cost-effectively annotate or scale large corpora of text and have a reliable indicator of a classifier's uncertainty. Yet, the accuracy of these claims and the broader model accuracy in social science text-based tasks are not yet established. In this paper, we do just that and hope to establish the suitability of JEV for social science tasks. We compare JEV with LLMs and human coders from published research, and with a current mid-tier commercial LLM (GPT-6 Luna) and an open-weight alternative (Qwen3.8-27B). We find that JEV matches, or comes close to, the capabilities of both LLMs in a variety of tasks. However, we find no cost advantage over GPT-6 Luna at OpenAI's batch prices. Further, we find that, when each question is asked once, JEV's probabilities are better calibrated than GPT-6 Luna's token probabilities, but not consistently better than Qwen3.8-27B's. We conclude that unless researchers have a need for speed, JEV's only obvious advantage is ease of parsing the underlying choice probabilities.