Evaluating LLM-Generated Preference Distributions
作者: Fan Huang, Minsuk Kim, C. Tyler Diggans, Filippo Radicchi
分类: cs.AI
发布日期: 2026-10-01
💡 一句话要点
系统分析LLM生成的偏好分布以提升决策支持
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 偏好分布 决策支持 市场研究 用户偏好分析 模型一致性 合成数据生成
📋 核心要点
- 现有方法对LLM生成的偏好分布的结构和可靠性研究不足，导致其在决策支持中的应用受到限制。
- 本文通过系统分析不同LLM生成的偏好分布，揭示了模型选择对结果的显著影响，挑战了传统假设。
- 实验结果显示，尽管模型表现出自我一致性，但在不同模型和选择领域之间存在显著的不一致性，提示需进一步研究。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地被用作概率生成器，用于模拟、合成数据生成和决策支持，尤其是在缺乏真实数据的情况下。然而，它们生成的分布的结构和可靠性仍然未得到充分研究。本文系统分析了LLM生成的关于航空旅行、餐厅和消费产品的偏好分布。结果表明，所有分析中的模型都表现出自我一致性，最可能的结果在重复采样下迅速稳定。同时，不同模型家族和规模之间存在显著的不一致性，甚至在最可能的结果中也缺乏共识。这些模式在九个开放权重模型和三个选择领域中保持一致，并在温度变化、贪婪解码以及提示和顺序的扰动下表现出鲁棒性。我们的发现表明，结果更受模型选择的影响，而非提示的措辞，这挑战了足够强大的LLM在作为调查响应者时生成相似偏好分布的常见假设。
🔬 方法详解
问题定义：本文旨在解决大型语言模型生成的偏好分布的结构和可靠性问题。现有方法未能充分探讨这些分布的特性，影响了其在实际应用中的有效性。
核心思路：通过系统分析不同LLM生成的偏好分布，本文揭示了模型选择对结果的影响，强调了模型间的一致性和不一致性。
技术框架：研究采用了九个开放权重模型，涵盖三个选择领域，分析了在不同温度、解码策略和提示扰动下的生成结果。
关键创新：本文的主要创新在于系统性地比较了多种LLM生成的偏好分布，发现模型选择对结果的影响大于提示措辞，挑战了传统观点。
关键设计：在实验中，设置了不同的温度参数和解码策略，使用了多种提示和顺序组合，以确保结果的鲁棒性和可靠性。通过这些设计，能够更全面地评估LLM生成的偏好分布。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有分析的模型在重复采样下表现出自我一致性，最可能的结果迅速稳定。然而，不同模型之间存在显著的不一致性，尤其是在偏好分布的最可能结果上，提示模型选择对结果的影响更为重要。
🎯 应用场景
该研究的潜在应用领域包括市场研究、用户偏好分析和决策支持系统。通过理解LLM生成的偏好分布，企业可以更好地制定产品策略和市场营销方案，提升用户体验和满意度。未来，随着LLM技术的进步，该研究可能对人机交互和智能推荐系统产生深远影响。
📄 摘要（原文）
Large Language Models (LLMs) are increasingly used as probabilistic generators for simulation, synthetic data generation, and decision support in settings where real-world data are unavailable. Yet, the structure and reliability of the distributions they produce remain understudied. Here, we systematically analyze LLM-generated distributions of preferences for air travel, restaurants, and consumer products. Encouragingly, all models considered in our analysis exhibit self-coherence, with the most probable outcomes stabilizing rapidly under repeated sampling. At the same time, we observe substantial discordance across both model families and scales, with little consensus even among their most probable outcomes. These patterns hold across nine open-weight models, three choice domains, and show robustness under temperature changes, greedy decoding, and perturbations of prompt and ordering. Our findings indicate that outcomes are influenced more by the choice of model than by the wording of the prompt, challenging the common assumption that sufficiently capable LLMs produce similar preference distributions when used as stand-ins for survey respondents.