Calibrated Decisions at Scale: Converting Police Crash Narratives into Probabilistic Crash Variables with a System One Model (Jev)
作者: Amir Rafe, Subasish Das
分类: cs.CL
发布日期: 2026-09-21
💡 一句话要点
提出基于Jev模型的叙述编码方法以解决交通事故数据分析问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交通事故分析 叙述编码 概率模型 数据审核 系统一模型 机器学习 公共安全
📋 核心要点
- 现有的交通事故数据分析方法在处理调查叙述时面临高成本和文本验证困难等挑战。
- 本文提出了一种基于Jev模型的系统一决策方法，通过概率输出而非文本生成来进行叙述编码。
- 实验结果表明，Jev模型在与人类标注的对比中取得了0.908的F1分数，显著提升了数据编码的准确性。
📝 摘要（中文）
本文探讨了如何将包含调查叙述的交通事故数据集转化为概率性事故变量。现有方法面临三大障碍：前沿大型语言模型在大规模应用中的高成本、生成文本的不可验证性以及缺乏人类审核输出的规则。为此，本文提出了一种基于Jev模型的系统一决策方法，该方法通过27个问题的框架对499,500个德克萨斯州的叙述进行编码。实验结果显示，Jev模型在与人类标注的对比中取得了0.908的F1分数，显著优于其他大型语言模型。通过重新校准，模型的校准误差降低了3.3倍，且将校准变量添加到编码字段后，年均增加了10,747起因九个因素导致的伤亡事故。
🔬 方法详解
问题定义：本文旨在解决如何有效编码包含调查叙述的交通事故数据集的问题。现有方法在大规模应用中面临高成本、生成文本的不可验证性以及缺乏审核标准等痛点。
核心思路：论文提出将叙述编码视为由Jev模型进行的有门限的类型决策，返回概率而非生成文本，从而降低成本并提高编码效率。
技术框架：整体架构包括数据筛选、问题框架设计、模型训练与评估等阶段。具体而言，使用27个问题对499,500个叙述进行编码，并通过概率输出进行决策。
关键创新：最重要的技术创新在于使用Jev模型进行概率性决策，而非传统的文本生成方法。这一方法在编码效率和准确性上具有显著优势。
关键设计：模型的关键设计包括问题框架的构建、概率输出的审核机制，以及对模型进行重新校准以降低校准误差的策略。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Jev模型在与人类标注的对比中取得了0.908的F1分数，显著高于其他两种前沿大型语言模型的表现，后者分别仅为0.059和无显著差异。重新校准后，模型的校准误差降低了3.3倍，显示出该方法在数据编码中的有效性。
🎯 应用场景
该研究的潜在应用领域包括交通事故分析、公共安全管理和政策制定等。通过将叙述数据转化为可量化的概率变量，能够为交通安全研究提供更为精准的数据支持，进而帮助决策者制定更有效的安全政策。
📄 摘要（原文）
Crash datasets that carry an investigator narrative hold information the coded fields omit. Coding those narratives at scale has been blocked by three obstacles. Frontier large language models are costly at that scale, their generated text cannot be verified, and no rule says how much output a human must check. This paper formulates narrative coding as gated, typed decisions answered by Jev, a System One model that returns probabilities over analyst-defined options and generates no text. A screen covered 499,500 Texas narratives and 195,857 were coded with a 27-question schema. Cost is governed by schema size rather than narrative length. The probabilities are audited against coded fields and against 2,416 blinded human judgments drawn under a stated sampling design. Two frontier large language models are benchmarked on the same records. Against human labels the typed model attains an F1 of 0.908. One frontier model gains 0.059 and the other is indistinguishable from it. Calibration varies by model rather than by paradigm, so each model must be audited. Recalibration on the same labels reduces calibration error by a factor of 3.3. Agreement with coded fields understates fidelity to the narrative by a median of 0.26 in kappa. A resolution-floor bound covers any model that reports probabilities on a discrete grid. A review budget over flagged records gives the records a human must read per variable and per year. Adding the calibrated variables to the coded fields raises the injury and fatal crashes attributed to nine factors by 10,747 per year.