Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research
作者: Florian Kutzner, Celina Kacperski, Laura de Molière, Edoardo Chidichimo, Min Jun Jung, Felix Patrick Sedgwick Wallis, James Kunling He
分类: cs.CL, cs.CY
发布日期: 2026-09-23
备注: 17 pages, 1 figure
💡 一句话要点
提出合成研究验证框架以解决行为后果与公平性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 合成研究 有效性验证 行为科学 公正性 电动车充电 子群体分析 反事实实验
📋 核心要点
- 核心问题：现有方法通过临时比较验证合成调查受访者的有效性，但未能准确反映决策者所需的行为后果。
- 方法要点：提出一个验证框架，要求明确有效性声明与人类数据的对应程度，并关注子群体的有效性。
- 实验或效果：应用该框架于电动车充电费率，提供了一个报告清单以帮助研究人员做出有效性声明。
📝 摘要（中文）
研究人员在工业和学术界使用大型语言模型生成的合成调查受访者作为人类样本的替代品。这些合成群体需要与真实世界数据进行验证，研究人员通常通过与人类调查的临时比较来解决这个问题。受行为科学中意图-行为差距的启发，本文认为这些验证在大多数应用案例中测试了错误的内容。为了解决这一问题，提出了一个验证框架，要求每个有效性声明必须明确其与人类数据的对应程度，并报告子群体的有效性声明。该框架将三种公正维度（分配、公正程序和认可）操作化为可测量的量，并定义了个体反事实实验作为验证要求。
🔬 方法详解
问题定义：论文要解决的问题是如何有效验证合成调查受访者的有效性，现有方法往往通过临时比较来验证，未能准确反映决策者所需的行为后果，导致决策失误。
核心思路：论文提出的核心思路是建立一个验证框架，要求每个有效性声明必须明确其与人类数据的对应程度，并关注不同子群体的有效性，以确保合成研究的结果能够真实反映实际行为。
技术框架：整体架构包括两个主要模块：第一，明确有效性声明的内容，包括与人类数据的对应程度、所用的四种诊断（位置、分散、反应过程和结构）以及实验效果的比较；第二，针对子群体的有效性报告，以揭示潜在的误表征。
关键创新：最重要的技术创新点在于将三种公正维度（分配、公正程序和认可）操作化为可测量的量，并引入个体反事实实验作为验证要求，这与现有方法的主要区别在于强调了对行为后果的关注。
关键设计：关键设计包括明确的有效性声明格式、针对子群体的分析方法，以及如何进行个体反事实实验的具体步骤，这些设计确保了验证过程的系统性和科学性。
🖼️ 关键图片
📊 实验亮点
在应用该验证框架于电动车充电费率的实验中，研究者发现合成调查的有效性显著提高，尤其是在针对特定子群体的分析中，能够更好地反映实际行为。这一方法的引入使得有效性声明的透明度和可靠性得到了增强。
🎯 应用场景
该研究的潜在应用领域包括市场研究、政策制定和社会科学等，能够帮助研究人员更准确地使用合成调查数据进行决策。通过提供一个系统的验证框架，研究者可以更有效地评估合成研究的有效性，从而提高研究结果的可信度和实际影响力。
📄 摘要（原文）
Researchers in industry and academia use synthetic survey respondents powered by large language models as substitutes for human samples. These synthetic populations require validation against real-world data, so researchers often address them using ad hoc comparisons with human surveys. Inspired by the intention-behaviour gap in behavioural science, we argue that these validations test the wrong thing for most applied cases where decision makers commission synthetic research to anticipate consequential behaviour. To address this problem, we propose a validation framework with two requirements. First, every validity claim must state its level of correspondence with human data: does the sample predict what the represented people do, which of four diagnostics (location, dispersion, response process and structure) does the validation address, and does the validation compare against experimental effects? Second, researchers must report validity claims for subgroups, since these groups are often the most affected by consequential decisions and aggregate accuracy hides their misrepresentation. Our validation framework operationalises three justice dimensions (distributional, procedural, and recognition) as measurable quantities and defines within-persona counterfactual experiments as a validation requirement. We then apply the framework to electric vehicle charging tariffs, before closing with a reporting checklist that researchers can use to make convincing validity claims.