Characterizing Knowledge Graph Tasks in LLM Benchmarks Using Cognitive Complexity Frameworks

📄 arXiv: 2509.19347v1 📥 PDF

作者: Sara Todorovikj, Lars-Peter Meyer, Michael Martin

分类: cs.CL

发布日期: 2025-09-17

备注: peer reviewed publication at SEMANTiCS 2025 Poster Track

💡 一句话要点

利用认知复杂性框架表征LLM基准测试中知识图谱任务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识图谱 认知复杂性 基准测试 任务评估

📋 核心要点

  1. 现有LLM在知识图谱任务上的评估主要关注准确性，缺乏对任务认知复杂度的深入分析。
  2. 本文提出利用认知心理学的复杂性框架，从认知角度表征LLM在知识图谱任务中的表现。
  3. 通过在LLM-KG-Bench上应用该方法，揭示了任务需求的分布不均，并促进了更全面的基准评估。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地被用于涉及知识图谱（KGs）的任务，对其评估通常侧重于准确性和输出正确性。本文提出了一种互补的任务表征方法，该方法使用认知心理学中的三个复杂性框架。通过将其应用于LLM-KG-Bench框架，我们突出了价值分布，识别了代表性不足的需求，并激发了对基准评估任务更丰富的解释和多样性。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在处理知识图谱（KGs）相关任务时，其评估方法主要集中在准确性和输出结果的正确性上。这种评估方式忽略了任务本身的认知复杂性，无法全面反映LLM在处理不同难度KG任务时的能力差异。因此，需要一种新的方法来更细致地刻画KG任务的复杂程度，从而更有效地评估LLM的性能。

核心思路：本文的核心思路是借鉴认知心理学中的复杂性框架，从认知角度分析和表征KG任务。具体来说，论文采用了三种认知复杂性框架，分别是：认知资源需求、任务结构复杂性和信息处理需求。通过这些框架，可以将KG任务分解为不同的认知维度，并评估LLM在这些维度上的表现。这种方法能够提供比传统准确率评估更丰富的任务理解和模型性能分析。

技术框架：本文的技术框架主要包括以下几个步骤：1) 选择合适的知识图谱基准测试集（例如LLM-KG-Bench）；2) 利用选定的认知复杂性框架，对基准测试集中的每个任务进行标注，确定其在各个认知维度上的复杂度；3) 使用LLM完成基准测试集中的任务，并记录其性能表现；4) 分析LLM在不同认知复杂度任务上的表现，从而评估其在不同认知维度上的能力；5) 基于分析结果，提出改进LLM在KG任务上性能的建议。

关键创新：本文的关键创新在于将认知心理学的复杂性框架引入到LLM的知识图谱任务评估中。与传统的只关注准确率的评估方法相比，本文的方法能够更全面地刻画任务的难度，并揭示LLM在不同认知维度上的优势和不足。这种方法为LLM的改进提供了更细粒度的指导。

关键设计：论文的关键设计在于如何将认知复杂性框架应用于具体的知识图谱任务。这需要对每个框架进行细致的解读，并将其转化为可操作的标注指南。例如，对于认知资源需求框架，需要考虑任务所需的记忆容量、注意力分配等因素。对于任务结构复杂性框架，需要考虑任务的步骤数量、步骤之间的依赖关系等因素。对于信息处理需求框架，需要考虑任务所需的信息检索、推理等操作的复杂程度。

📊 实验亮点

该研究通过将认知复杂性框架应用于LLM-KG-Bench，揭示了现有基准测试中任务认知需求的分布不均，表明某些认知维度的任务被低估。这为设计更均衡、更具挑战性的基准测试提供了依据，并有助于更准确地评估LLM在知识图谱任务上的能力。

🎯 应用场景

该研究成果可应用于更全面地评估大型语言模型在知识图谱相关任务中的能力，指导模型设计和优化，并为构建更智能的知识图谱应用提供理论基础。此外，该方法也可推广到其他类型的任务评估中，促进人工智能领域的认知计算研究。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used for tasks involving Knowledge Graphs (KGs), whose evaluation typically focuses on accuracy and output correctness. We propose a complementary task characterization approach using three complexity frameworks from cognitive psychology. Applying this to the LLM-KG-Bench framework, we highlight value distributions, identify underrepresented demands and motivate richer interpretation and diversity for benchmark evaluation tasks.