Core Knowledge Deficits in Multi-Modal Language Models

📄 arXiv: 2410.10855v4 📥 PDF

作者: Yijiang Li, Qingying Gao, Tianwei Zhao, Bingyang Wang, Haoran Sun, Haiyun Lyu, Robert D. Hawkins, Nuno Vasconcelos, Tal Golan, Dezhi Luo, Hokin Deng

分类: cs.CL, cs.AI, cs.CV

发布日期: 2024-10-06 (更新: 2025-06-19)

备注: Accepted by ICML 2025. Project page at https://williamium3000.github.io/core-knowledge and code is available at https://github.com/williamium3000/core-knowledge

💡 一句话要点

揭示多模态语言模型在核心认知能力上的缺陷，并提出概念攻击评估方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 核心知识 认知能力 基准数据集 概念攻击

📋 核心要点

  1. 现有MLLM在高层次感知推理能力突出，但在基础认知任务上表现不足，缺乏人类幼儿具备的核心知识。
  2. 论文提出CoreCognition基准，包含12个核心知识概念，用于评估MLLM在这些方面的能力。
  3. 实验发现MLLM在低层次认知能力上表现不佳，且依赖捷径学习，而非真正理解核心知识。

📝 摘要（中文）

多模态大型语言模型(MLLM)在高层次感知和推理方面表现出令人印象深刻的能力，但它们在实际应用中的鲁棒性仍然有限，常常在对人类来说直观且毫不费力的任务上表现不佳。我们检验了这些缺陷源于缺乏核心知识——即人类从幼儿时期就拥有的基本认知能力的假设。为了探索MLLM中的核心知识表示，我们引入了CoreCognition，这是一个大规模基准，包含基于发展认知科学的12个核心知识概念。我们评估了230个模型，使用了11种不同的提示，总共得到了2530个数据点用于分析。我们的实验揭示了四个关键发现，共同证明了MLLM中存在核心知识缺陷：相对于高层次能力，它们在低层次能力上始终表现不佳，并且可扩展性降低甚至缺失。最后，我们提出了一种新颖的受控评估方法Concept Hacking，揭示了MLLM未能朝着真正的核心知识理解方向发展，而是在扩展时依赖于捷径学习。

🔬 方法详解

问题定义：现有的多模态大型语言模型（MLLM）虽然在高级感知和推理任务上表现出色，但在处理一些对人类来说非常直观和简单的任务时，却经常表现出明显的不足。这些不足可能源于MLLM缺乏人类早期就具备的核心知识，例如对物体持久性、数量守恒等基本概念的理解。现有方法难以有效评估MLLM在这些核心认知能力上的表现，也难以区分模型是真正理解了这些概念，还是仅仅依赖于捷径学习。

核心思路：论文的核心思路是通过构建一个专门用于评估MLLM核心认知能力的基准数据集（CoreCognition），并设计相应的评估方法，来系统地分析MLLM在这些方面的表现。同时，论文提出了“概念攻击”（Concept Hacking）的方法，通过控制输入，来判断模型是否真正理解了核心概念，还是仅仅依赖于数据中的统计规律或捷径。

技术框架：论文主要包含以下几个部分：1) 构建CoreCognition基准数据集，该数据集包含12个核心知识概念，每个概念都设计了相应的测试用例。2) 设计了多种提示策略，用于引导MLLM完成测试任务。3) 提出了Concept Hacking评估方法，通过控制输入，来判断模型是否真正理解了核心概念。4) 对230个MLLM进行了评估，并分析了实验结果。

关键创新：论文的关键创新在于：1) 提出了CoreCognition基准数据集，为评估MLLM的核心认知能力提供了一个标准化的平台。2) 提出了Concept Hacking评估方法，能够有效地区分模型是真正理解了核心概念，还是仅仅依赖于捷径学习。3) 通过大规模实验，揭示了MLLM在核心认知能力上的缺陷，并为未来的研究方向提供了指导。

关键设计：CoreCognition基准数据集的设计参考了发展认知科学的研究成果，选择了12个核心知识概念，并为每个概念设计了多种测试用例，以全面评估MLLM在该概念上的表现。Concept Hacking评估方法通过控制输入中的某些关键信息，例如改变物体的颜色或形状，来观察模型输出的变化，从而判断模型是否真正理解了核心概念。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MLLM在CoreCognition基准上的表现明显低于人类水平，尤其是在低层次认知能力方面。例如，模型在物体持久性、数量守恒等任务上的准确率远低于预期。Concept Hacking实验进一步证实，MLLM倾向于依赖捷径学习，而非真正理解核心概念。这些发现揭示了MLLM在认知能力上的局限性，为未来的研究提供了重要的指导。

🎯 应用场景

该研究成果可应用于提升多模态语言模型在机器人、自动驾驶、智能助手等领域的鲁棒性和可靠性。通过弥补模型在核心认知能力上的缺陷，可以使其更好地理解真实世界的复杂场景，从而做出更安全、更合理的决策。未来的研究可以基于此，开发更有效的训练方法，使模型真正掌握核心知识。

📄 摘要（原文）

While Multi-modal Large Language Models (MLLMs) demonstrate impressive abilities over high-level perception and reasoning, their robustness in the wild remains limited, often falling short on tasks that are intuitive and effortless for humans. We examine the hypothesis that these deficiencies stem from the absence of core knowledge--rudimentary cognitive abilities innate to humans from early childhood. To explore the core knowledge representation in MLLMs, we introduce CoreCognition, a large-scale benchmark encompassing 12 core knowledge concepts grounded in developmental cognitive science. We evaluate 230 models with 11 different prompts, leading to a total of 2,530 data points for analysis. Our experiments uncover four key findings, collectively demonstrating core knowledge deficits in MLLMs: they consistently underperform and show reduced, or even absent, scalability on low-level abilities relative to high-level ones. Finally, we propose Concept Hacking, a novel controlled evaluation method that reveals MLLMs fail to progress toward genuine core knowledge understanding, but instead rely on shortcut learning as they scale.