Can Large Language Models Replace Human Coders? Introducing ContentBench

📄 arXiv: 2602.19467v1 📥 PDF

作者: Michael Haman

分类: cs.CY, cs.AI, cs.CL

发布日期: 2026-02-23

备注: Project website: https://contentbench.github.io

💡 一句话要点

ContentBench：评估低成本大语言模型在内容分析编码任务中的能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 内容分析 解释性编码 基准测试 自然语言处理

📋 核心要点

  1. 现有经验内容分析依赖人工编码，成本高昂且效率低下，阻碍了大规模研究的开展。
  2. ContentBench通过构建基准测试套件，评估低成本大语言模型在解释性编码任务中的表现，探索替代人工编码的可能性。
  3. 实验结果表明，部分低成本大语言模型在特定任务上可达到与专家评审相近的水平，且成本大幅降低。

📝 摘要（中文）

本文介绍了ContentBench，一个公共基准测试套件，旨在评估低成本大语言模型（LLMs）在解释性编码任务中的表现，并跟踪其一致性和成本。该套件采用版本化的轨道，鼓励研究人员贡献新的基准数据集。本文报告了第一个轨道ContentBench-ResearchTalk v1.0的结果：1000条合成的、社交媒体风格的学术研究帖子，被标记为赞扬、批评、讽刺、问题和程序性评论五个类别。参考标签仅在三个最先进的推理模型（GPT-5、Gemini 2.5 Pro和Claude Opus 4.1）一致同意时才分配，并且所有最终标签都由作者进行质量控制审核。在评估的59个模型中，最好的低成本LLM与这些评审标签的达成率约为97-99%，远高于GPT-3.5 Turbo。一些顶级模型只需几美元即可编码50,000个帖子，从而将大规模解释性编码从劳动力瓶颈推向验证、报告和治理问题。同时，在本地运行的小型开放权重模型在讽刺意味浓厚的项目上仍然表现不佳（例如，Llama 3.2 3B在硬讽刺上的达成率仅为4%）。ContentBench发布了数据、文档和一个交互式测验，以支持随时间推移的可比较评估，并邀请社区扩展。

🔬 方法详解

问题定义：目前经验内容分析中，解释性编码工作仍然依赖大量的人工劳动，这导致了高昂的成本和效率瓶颈，限制了大规模内容分析研究的开展。现有方法难以在保证质量的前提下，实现低成本、高效率的内容编码。

核心思路：本文的核心思路是利用低成本的大语言模型（LLMs）来替代部分人工编码工作。通过构建一个基准测试套件ContentBench，系统地评估不同LLMs在解释性编码任务中的表现，从而确定哪些LLMs能够以较低的成本达到与人工编码相当甚至更高的水平。这样设计的目的是为了降低内容分析的成本，提高效率，并推动更大规模的研究。

技术框架：ContentBench包含以下主要组成部分： 1. 基准数据集：ContentBench-ResearchTalk v1.0，包含1000条合成的、社交媒体风格的学术研究帖子，并标注为五个类别（赞扬、批评、讽刺、问题和程序性评论）。 2. 参考标签生成：参考标签由三个最先进的推理模型（GPT-5、Gemini 2.5 Pro和Claude Opus 4.1）一致同意时才分配，并由作者进行质量控制审核。 3. 模型评估：评估59个不同的LLMs在基准数据集上的表现，并与参考标签进行比较，计算一致性。 4. 成本评估：评估不同LLMs完成编码任务所需的成本。

关键创新：ContentBench的关键创新在于： 1. 构建了一个公共的、可扩展的基准测试套件，用于评估LLMs在解释性编码任务中的能力。 2. 采用了一种严格的参考标签生成方法，确保标签的质量和可靠性。 3. 系统地评估了大量LLMs的表现，并提供了详细的成本信息，为研究人员选择合适的LLM提供了依据。

关键设计： 1. 参考标签生成：只有当三个最先进的推理模型（GPT-5、Gemini 2.5 Pro和Claude Opus 4.1）一致同意时，才分配参考标签，确保标签的准确性。 2. 质量控制：所有最终标签都由作者进行质量控制审核，进一步提高标签的质量。 3. 评估指标：使用一致性作为评估指标，衡量LLMs的编码结果与参考标签之间的差异。 4. 成本评估：评估不同LLMs完成编码任务所需的API调用次数和总成本。

📊 实验亮点

实验结果表明，最佳的低成本LLM与专家评审标签的一致性达到97-99%，远超GPT-3.5 Turbo。部分顶级模型仅需几美元即可完成50,000条帖子的编码任务。然而，小型开放权重模型在处理讽刺内容时表现不佳，例如Llama 3.2 3B在硬讽刺上的达成率仅为4%。

🎯 应用场景

该研究成果可应用于大规模社会科学研究、舆情分析、市场调研等领域。通过使用低成本的大语言模型自动进行内容编码，可以显著降低研究成本，提高效率，从而推动更大规模、更深入的研究。未来，该方法有望应用于自动化内容审核、智能客服等领域。

📄 摘要（原文）

Can low-cost large language models (LLMs) take over the interpretive coding work that still anchors much of empirical content analysis? This paper introduces ContentBench, a public benchmark suite that helps answer this replacement question by tracking how much agreement low-cost LLMs achieve and what they cost on the same interpretive coding tasks. The suite uses versioned tracks that invite researchers to contribute new benchmark datasets. I report results from the first track, ContentBench-ResearchTalk v1.0: 1,000 synthetic, social-media-style posts about academic research labeled into five categories spanning praise, critique, sarcasm, questions, and procedural remarks. Reference labels are assigned only when three state-of-the-art reasoning models (GPT-5, Gemini 2.5 Pro, and Claude Opus 4.1) agree unanimously, and all final labels are checked by the author as a quality-control audit. Among the 59 evaluated models, the best low-cost LLMs reach roughly 97-99% agreement with these jury labels, far above GPT-3.5 Turbo, the model behind early ChatGPT and the initial wave of LLM-based text annotation. Several top models can code 50,000 posts for only a few dollars, pushing large-scale interpretive coding from a labor bottleneck toward questions of validation, reporting, and governance. At the same time, small open-weight models that run locally still struggle on sarcasm-heavy items (for example, Llama 3.2 3B reaches only 4% agreement on hard-sarcasm). ContentBench is released with data, documentation, and an interactive quiz at contentbench.github.io to support comparable evaluations over time and to invite community extensions.