UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs

📄 arXiv: 2606.06622v1 📥 PDF

作者: Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

分类: cs.CL

发布日期: 2026-06-04

💡 一句话要点

提出UnpredictaBench以评估LLMs的分布随机性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 分布随机性 评估基准 Kolmogorov-Smirnov检验 经济模拟 随机过程 输出多样性

📋 核心要点

  1. 核心问题：现有LLMs在模拟真实系统时，往往无法捕捉到真实分布的随机性，导致输出结果的多样性不足。
  2. 方法要点：论文提出UnpredictaBench，通过448个问题和KS@N指标，评估模型在不同目标分布下的表现。
  3. 实验或效果：实验显示，模型在KS@100上的得分差异显著，最高得分未超过40%，表明分布采样能力有待提升。

📝 摘要（中文）

我们引入了UnpredictaBench，这是一个评估大型语言模型（LLMs）捕捉真实基础分布能力的工具。随着LLMs越来越多地被用作其他实体的替代品（例如，在经济模拟中替代人类），许多模型趋向于收敛到单一合理答案，这导致无法捕捉真实系统的不可预测性。我们提出448个问题，并引入KS@N评估指标，通过Kolmogorov-Smirnov统计检验量化模型输出与目标分布的接近程度。实验结果显示，模型在分布能力上存在较大差异，且没有模型在KS@100上超过40%的得分，表明分布采样能力仍有很大提升空间。

🔬 方法详解

问题定义：论文要解决的问题是大型语言模型在模拟真实系统时，无法有效捕捉真实分布的随机性，现有方法在输出多样性方面存在不足。

核心思路：论文的核心思路是通过设计UnpredictaBench，提供一个标准化的评估框架，专注于从特定目标分布中采样，以量化模型的分布能力。这样设计的目的是为了更好地模拟真实世界中的随机过程。

技术框架：整体架构包括448个问题的设计，涵盖经典统计分布、随机程序诱导的分布以及自然语言场景。评估过程使用KS@N指标，比较模型输出与真实样本的接近程度。

关键创新：最重要的技术创新点在于引入KS@N作为评估指标，通过Kolmogorov-Smirnov检验量化模型的输出分布与目标分布的相似性，这在现有文献中尚属首次。

关键设计：在实验中，模型生成样本的大小N被设置为100，KS@100作为标准指标，评估模型在不同目标分布下的表现，且没有模型得分超过40%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，模型在KS@100上的得分范围从接近0到超过20%，且没有模型得分超过40%，显示出在分布采样能力上仍有显著提升空间。这一发现强调了在使用LLMs作为复杂系统替代品时，分布模拟的挑战性。

🎯 应用场景

该研究的潜在应用领域包括经济模拟、决策支持系统和其他需要模拟复杂系统行为的场景。通过提高LLMs在分布采样方面的能力，可以更准确地模拟和预测真实世界中的随机现象，提升决策的科学性和有效性。

📄 摘要（原文）

We introduce UnpredictaBench, an evaluation that tests the ability of large language models (LLMs) to capture true underlying distributions. As LLMs are increasingly used as substitutes for other entities (e.g., for humans in economic simulations), the tendency of many models to collapse towards a single plausible answer means a failure to capture the unpredictability of real systems. Recent work on improving output diversity is insufficient for this setting: simulation requires samples that are calibrated to a target distribution, not merely varied outputs. UnpredictaBench isolates a simplified but fundamental version of this problem: sampling outcomes from individual target distributions, including canonical statistical distributions, distributions induced by stochastic programs, and natural-language scenarios that describe random processes. We introduce 448 such problems together with KS@N, a general-purpose evaluation metric that quantifies how well a model outputs approximate black-box target distributions via the Kolmogorov-Smirnov statistical test. This is the rate at which we fail to reject model samples of size N against ground-truth samples, with larger N indicating greater difficulty. Tested across open and proprietary models, we find a large spread in distributional capabilities. For instance, when models generate samples of size 100 (KS@100, our standard metric), scores range from near 0 to over 20%. No model is able to achieve over 40% at KS@100, showing significant headroom in distributional sampling as a capability. Although adding reasoning can somewhat increase scores, we find no immediate solution for this issue. UnpredictaBench shows that even simple distributional simulation remains challenging, making it a necessary first step toward using LLMs as stand-ins for complex systems.