INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models

📄 arXiv: 2607.24273v1 📥 PDF

作者: Changyu Chen, Chenwei Lin, Xian Xu

分类: cs.CL

发布日期: 2026-07-27

备注: 18 pages, including appendices; 11 figures and 12 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出INS-ActBench以评估大型语言模型的精算能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 精算能力 金融推理 基准评估 工具应用 长上下文推理 数据集构建 智能助手

📋 核心要点

  1. 现有基准往往将不同的评估维度分开，无法全面评估LLMs在真实精算工作中的能力。
  2. INS-ActBench通过整合标准化知识、长上下文推理和工具使用，提供了一个全面的评估框架。
  3. 实验表明，尽管前沿LLMs在标准化知识上表现良好，但在复杂案例推理和工具应用方面仍有显著不足。

📝 摘要（中文）

大型语言模型（LLMs）在金融推理方面展现出强大潜力，但现有基准往往将领域知识、数值推理、长上下文理解和工具使用分开评估，限制了其在真实专业工作流中的应用。本文提出了INS-ActBench，这是一个全面的基准，用于评估LLMs的专业精算能力。INS-ActBench包含来自16个精算协会的12,050个问答对，涵盖标准化精算知识、长上下文保险案例推理和可验证数值输出的电子表格及R代码任务。实验结果显示，前沿LLMs在标准化知识上表现强劲，但在案例推理、基于工具的工作流和敏感于司法管辖区的实践中仍显不足。INS-ActBench为开发可靠的精算LLMs提供了可重复的基础。

🔬 方法详解

问题定义：本文旨在解决现有基准无法全面评估大型语言模型在精算领域的专业能力的问题。现有方法往往将知识、推理和工具使用分开，无法反映真实工作流的复杂性。

核心思路：INS-ActBench通过整合多个评估维度，提供一个全面的基准，能够同时考察模型在标准化知识、长上下文推理和工具应用方面的能力。这样的设计旨在更好地模拟实际的精算工作场景。

技术框架：INS-ActBench包含三个主要子集：INS-Act-Know（标准化知识）、INS-Act-Case（长上下文案例推理）和INS-Act-Practice（工具应用任务）。每个子集都针对不同的能力进行评估，确保全面性。

关键创新：INS-ActBench的最大创新在于其综合性评估框架，能够同时考察多个维度的能力，而不是孤立地评估某一方面。这种方法与现有的单一维度评估方法本质上不同。

关键设计：在设计上，INS-ActBench使用了来自16个精算协会的真实问答对，确保数据的真实性和相关性。同时，针对每个子集设计了特定的评估标准，以便于对模型进行全面的能力评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，前沿的LLMs在标准化知识评估中表现优异，得分显著高于基线模型。然而，在长上下文案例推理和工具应用方面，LLMs的表现明显不足，显示出能力的边界。这一发现为未来的模型改进提供了明确的方向。

🎯 应用场景

INS-ActBench的研究成果可广泛应用于金融、保险等领域，帮助开发更为可靠的智能助手，提升精算师的工作效率和决策质量。未来，该基准有望推动大型语言模型在专业领域的应用，促进智能化决策的普及。

📄 摘要（原文）

Large Language Models (LLMs) have shown strong potential in financial reasoning, but existing benchmarks often evaluate domain knowledge, numerical reasoning, long-context understanding, and tool use in separate settings. This limits their ability to assess realistic professional workflows that require auditable, context-grounded, and tool-executable decisions. We introduce \textbf{INS-ActBench}, a comprehensive benchmark for evaluating professional actuarial capability in LLMs. INS-ActBench contains 12,050 Q\&A pairs from public exams and sample questions released by 16 actuarial associations. It covers three subsets: \textbf{INS-Act-Know} for standardized actuarial knowledge, \textbf{INS-Act-Case} for long-context insurance case reasoning, and \textbf{INS-Act-Practice} for spreadsheet and R-code tasks with verifiable numerical outputs. Experiments on nine representative LLMs and human actuarial experts reveal a clear capability boundary: frontier LLMs perform strongly on standardized knowledge, but remain much weaker in case reasoning, tool-based workflows, and jurisdiction-sensitive practice. INS-ActBench provides a reproducible foundation for developing actuarial LLMs toward reliable professional assistance. The code is available at https://github.com/FDU-INS/INS-ActBench.