Validity Without Ground Truth: What Stated-Preference Economics Offers the Evaluation of Language Models
作者: Daniel Robert Kling Alexander, Catherine Louise Kling
分类: cs.AI, cs.CL, econ.GN
发布日期: 2026-10-07
💡 一句话要点
提出基于陈述偏好的经济学框架评估语言模型的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型评估 陈述偏好经济学 有效性框架 经济理论 模型一致性
📋 核心要点
- 当前针对大型语言模型的评估面临无正确答案的问题，现有方法难以有效评分。
- 论文提出利用陈述偏好经济学的有效性框架来评估语言模型，强调模型答案的一致性而非正确性。
- 实验结果显示，较旧模型在基本有效性测试中表现不佳，而新模型在理论有效性测试中表现优异，展现了评估方法的有效性。
📝 摘要（中文）
许多针对大型语言模型的问题没有正确答案可供评分，例如政策的价值、用户选择的选项以及如何权衡竞争价值。陈述偏好经济学在这方面已有数十年的经验，通过有效性及相关概念（如内容、构念、标准有效性、可靠性、激励兼容性和结果性）来评估调查响应。本文提出这一框架作为评估语言模型的一般方法，并阐明每个概念在LLM评估中的意义。通过对六个模型进行已发布的水质陈述偏好经济估值调查的应用，验证了该方法的有效性。结果显示，两个较旧的模型在家庭收入为75,000美元时未能通过基本有效性测试，而两个最新模型在所有理论有效性测试中均表现良好，但在趋同有效性上存在差异。
🔬 方法详解
问题定义：本文旨在解决大型语言模型评估中缺乏正确答案的问题，现有方法无法有效处理这一挑战。
核心思路：通过引入陈述偏好经济学的有效性框架，评估语言模型的输出一致性，强调模型的理论有效性而非绝对正确性。
技术框架：整体架构包括有效性概念的定义与应用，具体模块涵盖内容有效性、构念有效性、标准有效性等，结合经济理论进行模型评估。
关键创新：最重要的创新在于将经济学的有效性框架应用于语言模型评估，提供了一种新的视角与方法，与传统的基于正确答案的评估方法本质不同。
关键设计：在实验中，采用了已发布的水质陈述偏好经济估值调查，设置了家庭收入等参数，评估模型在需求曲线和支付意愿等方面的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，两个较旧的模型在家庭收入为75,000美元时未能通过基本有效性测试，而两个最新模型在所有理论有效性测试中均表现良好，显示出显著的性能差异，验证了提出方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括政策评估、市场研究和用户体验设计等。通过提供一种新的评估语言模型的方法，能够更好地理解模型在复杂决策场景中的表现，未来可能推动相关领域的研究与实践发展。
📄 摘要（原文）
Many of the questions now put to large language models have no correct answer to score against: what a policy is worth, which option a user should choose, how to weigh competing values. Stated-preference economics has faced this problem for decades. It judges survey responses without knowing the true value, through a framework of validity and related concepts: content, construct, and criterion validity, reliability, incentive compatibility, and consequentiality. We argue that this framework is a general method for evaluating language models, and we set out what each concept means for LLM evaluation. We demonstrate the approach using a published water-quality stated preference economic valuation survey (Vossler et al. 2023) administered to six models. In this economic application, the validity tests take the form of predictions from economic theory: demand should slope down, and willingness to pay should respond to the scope of the good and to income. The tests separate the models sharply. Two older models fail the most basic test at a household income level of \$75,000, and the two newest pass every test of theoretical validity we can score, but diverge on convergent validity. Passing validity tests shows that a model's answers are coherent, not that they are correct.