CDT: A Comprehensive Capability Framework for Large Language Models Across Cognition, Domain, and Task

📄 arXiv: 2509.24422v1 📥 PDF

作者: Haosi Mo, Xinyu Ma, Xuebo Liu, Derek F. Wong, Yu Li, Jie Liu, Min Zhang

分类: cs.CL

发布日期: 2025-09-29

备注: 20 pages, 5 figures, EMNLP2025 Findings

🔗 代码/项目: GITHUB

💡 一句话要点

提出CDT框架，从认知、领域和任务三维度全面评估大语言模型能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型评估 认知能力 领域知识 任务执行 CDT框架

📋 核心要点

  1. 现有LLM评估benchmark通常只关注孤立能力，缺乏整体性评估框架。
  2. 提出CDT框架，从认知、领域和任务三个维度综合评估LLM能力。
  3. 实验表明CDT指标与下游性能相关，可有效支持数据集分析和构建，并在数据选择任务上取得显著提升。

📝 摘要（中文）

大语言模型（LLMs）的最新进展显著增强了它们的能力，但也突显了对超越特定任务基准的全面评估框架的需求。现有的基准测试通常侧重于孤立的能力，缺乏评估LLM能力的整体框架。为了解决这个差距，我们提出了认知-领域-任务（CDT）框架，该框架全面衡量模型在三个维度上的能力。我们通过结合卡特尔-霍恩-卡罗尔认知理论，扩展了认知层面的模型能力定义范围，细化了模型能力的分类。我们将CDT应用于两个方向：数据集能力评估和数据选择。实验表明，我们的能力指标与下游性能良好相关，可以支持有效的数据集分析和构建。数据选择实验也显示了在通用和特定基准测试中的显著改进，分别达到了44.3和45.4的分数，比基线分别提高了1.6和2.2分。这些结果验证了CDT的有效性和实用性。

🔬 方法详解

问题定义：现有的大语言模型评估方法通常侧重于特定任务的benchmark，缺乏对模型能力的全面、系统性评估。这些方法难以反映模型在认知、领域知识和任务执行等多个维度上的综合表现，限制了我们对模型能力的深入理解和有效利用。因此，如何构建一个能够全面评估LLM能力的框架成为一个关键问题。

核心思路：CDT框架的核心思路是将LLM的能力评估分解为三个关键维度：认知（Cognition）、领域（Domain）和任务（Task）。认知维度关注模型的基本认知能力，如推理、记忆和理解；领域维度关注模型在特定领域的知识掌握程度；任务维度关注模型完成特定任务的能力。通过综合评估这三个维度，可以更全面地了解模型的能力，并为模型选择、优化和应用提供指导。

技术框架：CDT框架包含三个主要模块：1) 认知能力评估模块：基于卡特尔-霍恩-卡罗尔认知理论，对模型的认知能力进行细粒度划分和评估。2) 领域知识评估模块：通过构建特定领域的知识图谱或数据集，评估模型在该领域的知识掌握程度。3) 任务执行能力评估模块：利用现有的benchmark或构建新的任务，评估模型完成特定任务的能力。这三个模块相互协作，共同构成一个完整的LLM能力评估体系。

关键创新：CDT框架的关键创新在于其综合性和系统性。它不仅考虑了模型在特定任务上的表现，还关注了模型的认知能力和领域知识，从而更全面地评估模型的能力。此外，CDT框架还具有良好的可扩展性，可以根据不同的应用场景和需求，灵活地调整和扩展评估维度和指标。

关键设计：在认知能力评估模块中，采用了卡特尔-霍恩-卡罗尔认知理论，将认知能力划分为多个子维度，并设计了相应的评估指标。在领域知识评估模块中，构建了特定领域的知识图谱，并利用知识图谱完成知识问答、实体识别等任务，从而评估模型在该领域的知识掌握程度。在任务执行能力评估模块中，采用了多种benchmark和任务，并设计了相应的评估指标，以全面评估模型完成特定任务的能力。

📊 实验亮点

实验结果表明，CDT框架能够有效评估LLM的能力，并且与下游任务的性能具有良好的相关性。在数据选择任务中，使用CDT框架选择的数据集训练的模型在通用和特定基准测试中分别取得了44.3和45.4的分数，比基线分别提高了1.6和2.2分，验证了CDT框架的有效性和实用性。

🎯 应用场景

CDT框架可应用于多种场景，例如模型选择、模型优化和数据集构建。在模型选择方面，可以利用CDT框架评估不同模型的优劣，选择最适合特定任务的模型。在模型优化方面，可以利用CDT框架识别模型的短板，针对性地进行优化。在数据集构建方面，可以利用CDT框架分析数据集的质量，构建更有效的数据集。未来，CDT框架有望成为LLM研究和应用的重要工具。

📄 摘要（原文）

Recent advances in Large Language Models (LLMs) have significantly enhanced their capabilities, highlighting the need for comprehensive evaluation frameworks that extend beyond task-specific benchmarks. However, existing benchmarks often focus on isolated abilities, lacking a holistic framework for assessing LLM capabilities. To address this gap, we propose the Cognition-Domain-Task (CDT) framework, which comprehensively measures a model's capabilities across three dimensions. We expand the scope of model capability definitions at the cognitive level by incorporating the Cattell-Horn-Carroll cognitive theory, refining the categorization of model capabilities. We apply CDT in two directions: dataset capability evaluation and data selection. Experiments show that our capability metrics correlate well with downstream performance and can support effective dataset analysis and construction. The experiments on data selection also show significant improvements in both general and specific benchmarks, achieving scores of 44.3 and 45.4, with an increase of 1.6 and 2.2 points over the baselines, respectively. These results validate the effectiveness and practicality of CDT. Source code and models are available at https://github.com/Alessa-mo/CDT.