From Performance to Purpose: A Sociotechnical Taxonomy for Evaluating Large Language Model Utility

📄 arXiv: 2602.20513v1 📥 PDF

作者: Gavin Levinson, Keith Feldman

分类: cs.CL

发布日期: 2026-02-24

💡 一句话要点

提出LUX框架，用于多维度评估大语言模型在实际应用中的效用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 效用评估 社会技术因素 LUX框架 性能评估 交互设计 运营成本 伦理治理

📋 核心要点

  1. 现有的大语言模型评估主要集中在任务性能上，忽略了实际应用中更广泛的社会技术因素。
  2. 论文提出了LUX框架，从性能、交互、运营和治理四个维度系统地评估LLM的效用。
  3. LUX框架提供了一个动态Web工具，将各个组件与相关的评估指标存储库连接，方便用户探索和使用。

📝 摘要（中文）

随着大型语言模型(LLMs)在完成离散任务方面的能力不断提高，它们正被集成到日益复杂和多样化的现实世界系统中。然而，仅凭任务层面的成功并不能确定模型是否适合在实践中使用。在应用型、高风险的环境中，LLM的有效性受到超出传统性能指标的更广泛的社会技术决定因素的驱动。虽然越来越多的指标捕捉到了许多这些考虑因素，但它们很少以支持一致评估的方式组织起来，因此缺乏一个统一的分类法来评估和比较LLM在不同用例中的效用。为了解决这一差距，我们引入了语言模型效用分类法(LUX)，这是一个全面的框架，它在四个领域构建效用评估：性能、交互、运营和治理。在每个领域内，LUX以主题对齐的维度和组件分层组织，每个维度和组件都基于能够进行定量比较的指标，并将模型选择与预期用途对齐。此外，还提供了一个外部动态Web工具，通过将每个组件连接到相关指标（因素）的存储库以进行应用评估，来支持对框架的探索。

🔬 方法详解

问题定义：现有的大语言模型评估体系主要关注模型在特定任务上的性能表现，例如准确率、召回率等。然而，在实际应用中，LLM的效用不仅仅取决于其性能，还受到交互方式、运营成本、伦理治理等多种社会技术因素的影响。缺乏一个统一的框架来系统地评估这些因素，导致模型选择和部署难以与实际需求对齐。

核心思路：论文的核心思路是构建一个全面的分类框架，即LUX，将LLM的效用分解为四个关键领域：性能、交互、运营和治理。通过对每个领域进行细致的划分，并提供相应的评估指标，LUX旨在帮助用户更全面、系统地评估LLM在实际应用中的价值。这种多维度的评估方法能够更好地反映LLM在真实场景中的表现，从而指导模型选择和优化。

技术框架：LUX框架采用分层结构，首先将LLM的效用划分为四个领域：性能（Performance）、交互（Interaction）、运营（Operations）和治理（Governance）。每个领域又进一步分解为多个维度（Dimensions），例如性能领域包括准确性、效率等维度；交互领域包括可用性、可解释性等维度。每个维度又包含多个组件（Components），例如准确性维度可能包含精确率、召回率等组件。每个组件都与一组可量化的指标（Metrics）相关联，用于评估LLM在该组件上的表现。此外，论文还提供了一个动态Web工具，用于探索LUX框架，并将每个组件链接到相关的评估指标存储库。

关键创新：LUX框架的关键创新在于其多维度、系统化的评估方法。与传统的仅关注任务性能的评估方法不同，LUX综合考虑了LLM在实际应用中的各种社会技术因素，从而更全面地反映了LLM的效用。此外，LUX框架的分层结构和可量化的指标使得评估过程更加清晰、可操作，方便用户进行模型选择和优化。动态Web工具的提供进一步增强了LUX框架的实用性。

关键设计：LUX框架的关键设计在于其四个领域的划分和各个维度、组件的定义。性能领域关注LLM在特定任务上的表现，例如准确率、召回率、F1值等。交互领域关注LLM与用户之间的交互体验，例如可用性、可解释性、响应时间等。运营领域关注LLM的部署和维护成本，例如计算资源消耗、数据存储需求、模型更新频率等。治理领域关注LLM的伦理和社会影响，例如公平性、透明度、隐私保护等。每个领域、维度和组件的选择都基于对LLM实际应用场景的深入理解和对相关文献的广泛调研。

🖼️ 关键图片

fig_0

📊 实验亮点

论文提出了一个全面的大语言模型效用评估框架LUX，该框架将效用分解为性能、交互、运营和治理四个领域，并为每个领域提供了可量化的评估指标。LUX框架提供了一个动态Web工具，方便用户探索和使用。该框架为大语言模型在实际应用中的评估提供了一个有价值的工具。

🎯 应用场景

LUX框架可应用于各种需要评估和选择大语言模型的场景，例如智能客服、医疗诊断、金融风控等。它可以帮助企业和研究机构更全面地了解LLM的优缺点，从而选择最适合其需求的模型，并优化模型的部署和使用，最终提升LLM在实际应用中的价值。

📄 摘要（原文）

As large language models (LLMs) continue to improve at completing discrete tasks, they are being integrated into increasingly complex and diverse real-world systems. However, task-level success alone does not establish a model's fit for use in practice. In applied, high-stakes settings, LLM effectiveness is driven by a wider array of sociotechnical determinants that extend beyond conventional performance measures. Although a growing set of metrics capture many of these considerations, they are rarely organized in a way that supports consistent evaluation, leaving no unified taxonomy for assessing and comparing LLM utility across use cases. To address this gap, we introduce the Language Model Utility Taxonomy (LUX), a comprehensive framework that structures utility evaluation across four domains: performance, interaction, operations, and governance. Within each domain, LUX is organized hierarchically into thematically aligned dimensions and components, each grounded in metrics that enable quantitative comparison and alignment of model selection with intended use. In addition, an external dynamic web tool is provided to support exploration of the framework by connecting each component to a repository of relevant metrics (factors) for applied evaluation.