InsClaimBench: Benchmarking Insurance Claim Adjudication Across the Decision Chain
作者: Linqi Zhang, Chong Qi, Yan Cheng, Wanqing Cao, Yu Liu, Chenwei Lin, Xian Xu
分类: cs.CL
发布日期: 2026-10-07
备注: 17 pages, 3 figures, 11 tables
💡 一句话要点
提出InsClaimBench以评估保险索赔裁决过程中的决策链
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 保险索赔 决策链 大型语言模型 基准评估 推理能力 规则判断 赔付决策
📋 核心要点
- 现有方法在保险索赔裁决中面临决策链可靠性不足的问题，尤其是在中间判断和最终赔付之间的传播失效。
- 论文提出InsClaimBench基准，通过真实案例和结构化规则评估保险索赔裁决，涵盖多个保险领域。
- 实验结果显示，尽管原子规则准确率高达95.48%，但最终赔付决策的准确率却显著下降，揭示了决策链中的传播问题。
📝 摘要（中文）
随着面向推理的大型语言模型（LLMs）的进步，评估其在专业决策任务中的能力变得愈加重要。保险索赔裁决是一个需要模型连接案例证据、保险规则、中间判断和赔付计算的任务。本文提出了InsClaimBench，一个用于评估保险索赔裁决的端到端基准，涵盖了真实索赔材料和结构化保险规则，包含3780个案例和375个案例家族，涉及汽车、财产和健康保险，共计86656个原子规则判断。评估结果显示，六个LLMs在决策链中可靠性逐渐下降，赔付决策准确率为74.23%至80.19%，而联合决策与金额准确率仅为47.54%至73.15%。这些结果表明，可靠的索赔裁决需要在决策链中保持一致的组合和传播。
🔬 方法详解
问题定义：本文旨在解决保险索赔裁决过程中决策链的可靠性问题，现有方法在中间判断与最终赔付之间存在传播失效，导致决策不一致。
核心思路：通过构建InsClaimBench基准，结合真实索赔案例和结构化保险规则，全面评估从原子规则到赔付决策的整个过程，确保各个环节的有效连接。
技术框架：InsClaimBench的整体架构包括三个主要模块：原子规则判断、裁决模块和赔付决策。每个模块都经过严格设计，以确保信息在决策链中的有效传播。
关键创新：该研究的创新点在于引入了一个系统化的评估框架，能够量化决策链中各个环节的可靠性，并揭示了局部判断与全局决策之间的潜在不一致性。
关键设计：在设计中，采用了多层次的评估标准，包括原子规则准确率、规则向量精确匹配等，确保对每个决策环节的全面分析。
🖼️ 关键图片
📊 实验亮点
实验结果显示，六个大型语言模型在赔付决策的准确率范围为74.23%至80.19%，而联合决策与金额的准确率仅为47.54%至73.15%。尽管原子规则的准确率达到95.48%，但最终决策的可靠性显著下降，揭示了决策链中的传播失效问题。
🎯 应用场景
该研究的潜在应用领域包括保险行业的索赔处理、风险评估和决策支持系统。通过提供一个系统化的评估工具，InsClaimBench可以帮助保险公司提高索赔裁决的准确性和效率，降低潜在的财务风险，未来可能推动保险科技的发展。
📄 摘要（原文）
Recent advances in reasoning-oriented large language models (LLMs) have motivated increasing evaluation of their ability to perform professional decision tasks. Insurance claim adjudication is one such task, requiring models to connect case evidence, insurance rules, intermediate judgments, and payout calculations across a structured decision process. We introduce InsClaimBench, an end-to-end benchmark for evaluating insurance claim adjudication across the decision chain. Grounded in real claim materials and structured insurance rules, InsClaimBench contains 3,780 cases in 375 case families across auto, property, and health insurance, comprising 86,656 atomic rule judgments. It evaluates each claim from atomic rules through adjudication modules to payout decisions and amounts, with controlled factual variants testing whether required changes are correctly propagated across levels. Evaluation of six LLMs reveals a progressive loss of reliability along the decision chain. Payout-decision accuracy ranges from 74.23--80.19%, while joint decision--amount accuracy drops to 47.54--73.15%. Strong local performance also fails to ensure case-level correctness: atomic-rule accuracy reaches 95.48%, whereas rule-vector exact match peaks at only 36.90%, and the most frequent module errors are not necessarily those most associated with final-decision failure. Under factual changes, these inconsistencies further become propagation failures: module updates are less reliable than rule updates, correct local judgments can still yield incorrect payouts, and correct payouts can conceal intermediate errors. These results show that reliable claim adjudication requires consistent composition and propagation across the decision chain.