IQ Test for LLMs: An Evaluation Framework for Uncovering Core Skills in LLMs
作者: Aviya Maimon, Amir DN Cohen, Gal Vishne, Shauli Ravfogel, Reut Tsarfaty
分类: cs.CL
发布日期: 2025-07-27
💡 一句话要点
提出基于因子分析的LLM评估框架，揭示模型潜在能力并辅助模型选择。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型评估 因子分析 潜在技能 基准测试 模型选择
📋 核心要点
- 现有LLM评估方法依赖单一平均分，无法充分揭示模型在各项任务中的潜在能力和局限性。
- 该论文提出使用因子分析方法，从多个基准测试中识别出驱动模型性能的潜在技能。
- 通过对60个LLM在44个任务上的评估，识别出少量关键潜在技能，并开发了实用工具。
📝 摘要（中文）
目前对大型语言模型（LLM）的评估依赖于基准测试分数，但很难解释这些分数揭示了模型整体能力的哪些方面。具体来说，我们缺乏对任务之间如何关联、它们共同衡量什么、它们有何不同以及哪些任务是冗余的理解。因此，模型通常通过跨基准测试的平均单一分数进行评估，这种方法无法捕捉模型全面的优势和局限性。本文提出了一种新的评估范式，该范式使用因子分析来识别驱动跨基准测试性能的潜在技能。我们将此方法应用于一个全面的新排行榜，展示了60个LLM在44个任务上的表现，并识别出一小组主要解释性能的潜在技能。最后，我们将这些见解转化为实用工具，用于识别冗余任务、辅助模型选择以及根据每个潜在技能对模型进行剖析。
🔬 方法详解
问题定义：现有LLM的评估主要依赖于在各种基准测试上的得分，但这些分数难以解释，无法清晰地反映模型所具备的各项能力。不同的任务之间存在关联性，但我们并不清楚它们共同衡量了哪些能力，又各自侧重哪些方面，以及哪些任务是冗余的。简单地将所有任务的得分平均，会掩盖模型在不同能力上的差异，无法全面评估模型的优缺点。
核心思路：该论文的核心思路是利用因子分析方法，将多个基准测试任务的得分分解为少数几个潜在的“技能”因子。这些潜在技能因子可以解释模型在不同任务上的表现，从而揭示模型的核心能力。通过识别这些潜在技能，可以更好地理解不同任务之间的关系，发现冗余任务，并为模型选择提供更细粒度的依据。
技术框架：该评估框架主要包含以下几个阶段：1) 数据收集：收集大量LLM在多个基准测试任务上的得分。2) 因子分析：对收集到的数据进行因子分析，识别出少数几个潜在技能因子。因子分析是一种统计方法，用于将多个观测变量（即基准测试得分）简化为少数几个潜在变量（即技能因子）。3) 技能剖析：根据模型在不同技能因子上的得分，对模型进行技能剖析，了解模型在各项技能上的优势和劣势。4) 工具开发：基于因子分析的结果，开发实用工具，用于识别冗余任务、辅助模型选择等。
关键创新：该论文的关键创新在于将因子分析方法引入到LLM的评估中，从而能够从多个基准测试的得分中提取出模型的核心能力。与传统的平均得分方法相比，该方法能够提供更细粒度的模型评估结果，更好地理解模型的能力特点。
关键设计：在因子分析中，需要选择合适的因子数量。该论文采用了一些常用的方法，如碎石图、特征值大于1等，来确定最佳的因子数量。此外，为了保证因子分析结果的可靠性，需要对数据进行预处理，如标准化等。具体使用的基准测试任务包括常识推理、数学计算、代码生成等多个方面，覆盖了LLM的多种能力。
🖼️ 关键图片
📊 实验亮点
该研究对60个LLM在44个任务上进行了评估，通过因子分析识别出少数几个潜在技能因子，这些因子能够解释模型在不同任务上的大部分表现。实验结果表明，该方法能够有效地揭示模型的核心能力，并为模型选择提供更细粒度的依据。例如，通过该方法可以发现某些模型在特定技能上具有显著优势，从而为特定应用场景选择合适的模型。
🎯 应用场景
该研究成果可应用于LLM的评估和选择，帮助用户更好地了解不同模型的优缺点，并根据实际需求选择合适的模型。此外，该方法还可以用于指导LLM的训练，通过针对性地提升模型在特定技能上的能力，从而提高模型的整体性能。该研究对于推动LLM的进一步发展具有重要意义。
📄 摘要（原文）
Current evaluations of large language models (LLMs) rely on benchmark scores, but it is difficult to interpret what these individual scores reveal about a model's overall skills. Specifically, as a community we lack understanding of how tasks relate to one another, what they measure in common, how they differ, or which ones are redundant. As a result, models are often assessed via a single score averaged across benchmarks, an approach that fails to capture the models' wholistic strengths and limitations. Here, we propose a new evaluation paradigm that uses factor analysis to identify latent skills driving performance across benchmarks. We apply this method to a comprehensive new leaderboard showcasing the performance of 60 LLMs on 44 tasks, and identify a small set of latent skills that largely explain performance. Finally, we turn these insights into practical tools that identify redundant tasks, aid in model selection, and profile models along each latent skill.