METER: Evaluating Multi-Level Contextual Causal Reasoning in Large Language Models

📄 arXiv: 2604.11502v1 📥 PDF

作者: Pengfeng Li, Chen Huang, Chaoqun Hao, Hongyao Chen, Xiao-Yong Wei, Wenqiang Lei, See-Kiong Ng

分类: cs.CL, cs.AI

发布日期: 2026-04-13

备注: ACL 2026. Our code and dataset are available at https://github.com/SCUNLP/METER

🔗 代码/项目: GITHUB

💡 一句话要点

METER：评估大语言模型在多层次上下文因果推理中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 因果推理 上下文学习 基准测试 错误分析

📋 核心要点

  1. 现有因果推理基准测试缺乏上下文一致性，且未能覆盖完整的因果层级，无法全面评估LLM的因果推理能力。
  2. METER基准测试在统一的上下文设置下，系统评估LLM在因果阶梯所有层级的推理能力，从而更全面地评估LLM的因果推理。
  3. 实验表明，LLM在较高因果层级的推理能力显著下降，主要原因是易受无关信息干扰和对上下文忠实度降低。

📝 摘要（中文）

上下文因果推理是大语言模型（LLMs）一项关键但具有挑战性的能力。然而，现有的基准测试通常在零散的环境中评估这项技能，无法确保上下文一致性或覆盖完整的因果层级。为了解决这个问题，我们率先提出了METER，旨在统一的上下文设置下，系统地对LLMs在因果阶梯的所有三个层级进行基准测试。我们对各种LLMs的广泛评估表明，随着任务在因果层级中上升，LLMs的熟练程度显著下降。为了诊断这种退化，我们通过错误模式识别和内部信息流追踪进行了深入的机制分析。我们的分析揭示了两种主要的失败模式：（1）LLMs容易被因果无关但事实正确的信息分散注意力；（2）随着任务在因果层级中上升，对所提供上下文的忠实度降低，导致性能下降。我们相信我们的工作加深了我们对LLM上下文因果推理背后机制的理解，并为未来的研究奠定了关键基础。我们的代码和数据集可在https://github.com/SCUNLP/METER 获取。

🔬 方法详解

问题定义：现有的大语言模型因果推理评估方法通常在孤立的环境中进行，缺乏上下文一致性，并且没有覆盖因果关系的完整层级结构。这导致无法准确评估模型在复杂场景下的因果推理能力。现有方法的痛点在于无法模拟真实世界中因果关系的多样性和复杂性，使得评估结果与实际应用存在差距。

核心思路：METER的核心思路是在统一的上下文环境中，系统地评估LLM在因果阶梯的三个层级（观察、干预、反事实）的推理能力。通过构建包含多层次因果关系的测试用例，并分析模型在不同层级上的表现，从而深入了解模型在上下文因果推理方面的优势和不足。这样设计的目的是为了更全面、更真实地反映LLM在实际应用中的因果推理能力。

技术框架：METER的整体框架包括以下几个主要阶段：1)构建多层次因果关系的测试数据集，涵盖观察、干预和反事实三个层级；2)设计统一的上下文环境，确保所有测试用例都在相同的背景下进行评估；3)使用不同的LLM模型在METER数据集上进行测试，并记录模型的推理结果；4)分析模型的错误模式，识别模型在不同因果层级上的弱点；5)通过内部信息流追踪，深入了解模型推理过程中的信息处理机制。

关键创新：METER最重要的创新点在于它提供了一个统一的上下文因果推理评估框架，能够系统地评估LLM在因果阶梯所有层级的推理能力。与现有方法相比，METER更加注重上下文一致性和因果关系的完整性，从而能够更准确地反映模型在复杂场景下的因果推理能力。此外，METER还通过错误模式识别和内部信息流追踪，深入分析了模型推理过程中的信息处理机制，为改进LLM的因果推理能力提供了新的思路。

关键设计：METER的关键设计包括：1)精心设计的测试用例，确保涵盖不同类型的因果关系和推理场景；2)统一的上下文环境，减少了无关因素对评估结果的影响；3)详细的错误模式分析，帮助识别模型在不同因果层级上的弱点；4)内部信息流追踪，深入了解模型推理过程中的信息处理机制。具体参数设置和网络结构取决于所评估的LLM模型，METER框架本身具有较强的通用性和可扩展性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在METER数据集上的表现随着因果层级的升高而显著下降。具体而言，LLM在观察层级的表现相对较好，但在干预和反事实层级的表现明显下降。分析表明，LLM容易受到因果无关但事实正确的信息干扰，并且随着任务复杂度的增加，对上下文的忠实度降低。这些发现揭示了LLM在上下文因果推理方面的局限性，为未来的研究提供了重要的方向。

🎯 应用场景

METER的研究成果可应用于提升大语言模型在医疗诊断、金融风险评估、自动驾驶等领域的决策能力。通过更准确的因果推理，LLM可以做出更可靠的预测和决策，减少错误和风险。此外，METER还可以用于指导LLM的训练和优化，提高其在复杂环境下的适应性和鲁棒性，从而推动人工智能技术的进一步发展。

📄 摘要（原文）

Contextual causal reasoning is a critical yet challenging capability for Large Language Models (LLMs). Existing benchmarks, however, often evaluate this skill in fragmented settings, failing to ensure context consistency or cover the full causal hierarchy. To address this, we pioneer METER to systematically benchmark LLMs across all three levels of the causal ladder under a unified context setting. Our extensive evaluation of various LLMs reveals a significant decline in proficiency as tasks ascend the causal hierarchy. To diagnose this degradation, we conduct a deep mechanistic analysis via both error pattern identification and internal information flow tracing. Our analysis reveals two primary failure modes: (1) LLMs are susceptible to distraction by causally irrelevant but factually correct information at lower level of causality; and (2) as tasks ascend the causal hierarchy, faithfulness to the provided context degrades, leading to a reduced performance. We belive our work advances our understanding of the mechanisms behind LLM contextual causal reasoning and establishes a critical foundation for future research. Our code and dataset are available at https://github.com/SCUNLP/METER .