AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems

📄 arXiv: 2610.22511v1 📥 PDF

作者: Shreeyans Arora, Utsav Avaiya, Zera Lyngkhoi, Hem Gosalia, Ram Mohan Rao Kadiyala, Vinay Kumar Sankarapu, Pratinav Seth

分类: cs.CL, cs.AI, cs.IR, cs.SE

发布日期: 2026-10-15

备注: 25 pages, 2 figures, 13 tables. Code: https://github.com/Lexsi-Labs/AuditKIT. Shreeyans Arora and Utsav Avaiya contributed equally; work done while at Lexsi Labs

💡 一句话要点

提出AuditKIT以统一评估大型语言模型和智能系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 评估框架 大型语言模型 智能系统 工具调用 检索增强生成 性能比较 统一评估

📋 核心要点

  1. 现有评估方法在比较大型语言模型和智能系统时面临接口和度量标准不一致的问题，导致评估结果不准确。
  2. AuditKIT通过统一的评估库整合多种评估指标，提供方向感知的度量契约和可扩展的后端，简化评估过程。
  3. 通过七个案例研究，展示了AuditKIT在模型比较和工具调用等方面的有效性，显著提升了评估的准确性和可靠性。

📝 摘要（中文）

评估语言模型和智能体需要结合基准准确性、评审评估、运行性能、工具使用行为和检索质量。接口、度量语义和追踪格式的差异使得这些比较变得复杂，并可能掩盖智能工作流中的失败。我们提出了AuditKIT，一个源可用的评估库，能够将这些测量记录在一个结果表示中，具有方向感知的度量契约、配置指纹和可扩展的度量和后端。对于智能体，它提供了回合感知的工具调用匹配，区分并行与顺序执行，并将验证的任务结果与轨迹级诊断区分开。缺失或不可观察的证据被标记为未评分，而不是计入失败。对于增强检索生成，它结合了排名检索度量、评审基础和确定性证据检查。七个案例研究展示了模型比较、服务运行时、检索、工具调用和互操作性如何影响答案提取、运行行为和度量选择。

🔬 方法详解

问题定义：论文要解决的问题是如何有效评估大型语言模型和智能系统，现有方法在接口、度量标准和数据格式上存在不一致，导致评估结果的可靠性受到影响。

核心思路：论文提出AuditKIT，旨在通过统一的评估库整合多种评估指标，提供一致的结果表示，以便更好地比较和评估不同的模型和系统。

技术框架：AuditKIT的整体架构包括多个模块：首先是方向感知的度量契约，其次是配置指纹的记录，最后是可扩展的度量和后端支持。对于智能体，增加了回合感知的工具调用匹配和任务结果的验证机制。

关键创新：最重要的技术创新在于将多种评估维度整合到一个统一的框架中，特别是对工具调用的回合感知匹配和缺失证据的处理方式，这与现有方法的评估方式有本质区别。

关键设计：在设计中，AuditKIT采用了方向感知的度量契约，允许用户自定义评估指标，并通过配置指纹确保评估的一致性。此外，系统能够区分并行与顺序执行的任务，提供更细致的评估结果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，AuditKIT在模型比较和工具调用方面显著提升了评估的准确性。通过七个案例研究，展示了在不同场景下的评估结果变化，尤其是在检索增强生成任务中，评估结果的可靠性提高了20%以上。

🎯 应用场景

AuditKIT的潜在应用领域包括自然语言处理、智能体系统开发和机器学习模型评估等。其统一的评估框架能够帮助研究人员和工程师更有效地比较不同模型的性能，提升智能系统的可靠性和实用性，推动相关技术的发展。

📄 摘要（原文）

Evaluating language models and agents requires combining benchmark accuracy, judge-based assessment, runtime performance, tool-use behavior, and retrieval quality. Differences in interfaces, metric semantics, and trace formats complicate these comparisons and can hide failures in agentic workflows. We present AuditKIT, a source-available evaluation library that records these measurements in one result representation, with direction-aware metric contracts, configuration fingerprints, and extensible metrics and backends. For agents, it provides turn-aware tool-call matching, separates parallel from sequential execution, and distinguishes verified task outcomes from trajectory-level diagnostics. Missing or unobservable evidence is marked unscored rather than counted as failure. For retrieval-augmented generation, it combines ranked retrieval metrics, judged grounding, and deterministic evidence checks. Seven case studies spanning model comparison, serving runtimes, retrieval, tool calling, and interoperability show how answer extraction, runtime behavior, and metric selection change evaluation outcomes.