Jev thinks "I don't know'', but doesn't say it: Introducing Sys1Cal-v1 Dataset for Probability Calibration
作者: Riccardo Porcedda
分类: cs.AI, cs.LO, eess.SY
发布日期: 2026-09-28
💡 一句话要点
提出Sys1Cal-v1数据集以解决概率校准问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 概率校准 系统一模型 数据集构建 机器学习 模型评估 决策支持 信任度提升
📋 核心要点
- 现有的系统一模型在概率校准方面缺乏有效的公开测试，导致其输出的概率缺乏可信度。
- 本文提出Sys1Cal-v1数据集，通过已知概率的真/假问题来评估模型的概率校准能力。
- 实验结果显示，恢复缺失的第三种真值概率项后，Jev的选择答案的中位软准确率从0.771提升至0.978。
📝 摘要（中文）
Jev的出现标志着系统一模型的时代，这些基础模型返回结构化决策及其概率分布。尽管Jev声称其概率经过校准，但缺乏公开测试支持。为了解决这一问题，本文引入Sys1Cal-v1数据集，该数据集包含已知确切概率的真/假问题。通过评估Jev和SemIf的表现，发现Jev在选择答案时可能抑制了第三种真值，导致其概率表达不完整。恢复这一缺失的概率项显著提升了选择答案的准确性。
🔬 方法详解
问题定义：本文旨在解决系统一模型在概率校准方面的不足，尤其是缺乏有效的外部基准测试来验证其输出概率的准确性。
核心思路：通过引入Sys1Cal-v1数据集，构建已知概率的真/假问题，以此作为评估模型概率校准能力的基准。特别关注Jev模型的选择和评分答案的校准情况。
技术框架：整体方法包括数据集构建、模型评估和结果分析三个主要阶段。数据集通过三种Jev原语（Noul、Choice和Score）进行查询，评估通过与真实分布的总变差距离进行。
关键创新：发现Jev在选择答案时抑制了第三种真值，导致概率表达不完整，提出恢复这一缺失项的方案，从而显著提升模型的准确性。
关键设计：在评估过程中，采用总变差距离作为损失函数，重点分析Jev的Choice答案，发现并修正了概率表达中的缺失项。
🖼️ 关键图片
📊 实验亮点
实验结果表明，恢复缺失的第三种真值概率项后，Jev模型在选择答案的中位软准确率从0.771提升至0.978，显示出显著的性能改进。这一发现不仅验证了Sys1Cal-v1数据集的有效性，也为系统一模型的概率校准提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括机器学习模型的概率输出校准，尤其是在需要高置信度决策的场景，如医疗诊断、金融预测和自动驾驶等。通过提高模型的概率校准能力，可以增强用户对模型决策的信任，进而推动其在实际应用中的广泛采用。
📄 摘要（原文）
The appearance of Jev marked the era of System One Models, foundation models that return structured decisions with probability distributions rather than text. Aside from low cost and great speed, Jev's central promise is that these probabilities are calibrated: such claim is not backed by any public test and available external benchmarks evaluate confidence calibration, not whether every returned option probability has the right numerical meaning. To tackle this issue, we introduce Sys1Cal-v1, a dataset of True/False questions about a proposition $A$ for which the exact probability $P(A)$ is known by construction. Each item is queried through the three Jev primitives - Noul, Choice and Score - and evaluated by total variation distance from the ground-truth distribution, which can be used to estimate a soft accuracy of System One Models. We showcase the utility of Sys1Cal-v1 as a benchmark dataset by evaluating Jev and SemIf, an open-source Choice-style baseline. In this work, however, we focus even more deeply on Jev, by studying the calibration of its Score and Choice answers. In particular, we discover a peculiar behaviour that can be explained by assuming that Jev suppresses a third truth value, going beyond True and False. In other words, in \texttt{Choice} answers, $P(A)$ and $P(\neg A)$ are presented as if $P(A)+P(\neg A)=1$, while a term $P(U)\neq0$ is missing in the sum. Recovering $P(U)$ leads to an improvement of median soft accuracy in \texttt{Choice} answers from $0.771$ to $0.978$, suggesting that, even in binary decisions, Jev wants to answer with a third option:``I don't know''.