Lost in Transmission: When and Why LLMs Fail to Reason Globally

📄 arXiv: 2505.08140v4 📥 PDF

作者: Tobias Schnabel, Kiran Tomlinson, Adith Swaminathan, Jennifer Neville

分类: cs.AI, cs.FL, cs.LG

发布日期: 2025-05-13 (更新: 2025-10-24)

备注: 36 pages; accepted to NeurIPS '25 (spotlight)

💡 一句话要点

提出BAPO模型，揭示LLM全局推理失败源于内部通信带宽限制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 全局推理 注意力机制 带宽限制 思维链 BAPO模型 图可达性

📋 核心要点

  1. 现有LLM在需要复杂全局推理的任务中表现不佳，原因在于模型内部信息传递存在容量限制。
  2. 论文提出了有界注意力前缀Oracle (BAPO)模型，用于建模LLM内部通信机制——注意力头的带宽约束。
  3. 实验表明，GPT-4o、Claude和Gemini在BAPO-easy任务上表现良好，但在BAPO-hard任务上失败，验证了理论预测。

📝 摘要（中文）

尽管基于Transformer的大型语言模型(LLM)取得了诸多成功，但在需要对输入的大部分内容进行复杂推理的任务中，它们仍然表现不佳。我们认为，这些失败是由于LLM内部信息准确流动的容量限制所致。为了形式化这个问题，我们引入了有界注意力前缀Oracle (BAPO)模型，这是一个新的计算框架，用于建模注意力头的带宽约束，注意力头是LLM内部通信的机制。我们证明，诸如图可达性等几个重要的推理问题需要BAPO解决的高通信带宽；我们将这些问题称为BAPO-hard。我们的实验证实了我们的理论预测：GPT-4o、Claude和Gemini在BAPO-easy任务上成功，但在相对较小的BAPO-hard任务上失败。BAPO还揭示了思维链(CoT)的另一个好处：我们证明，使用CoT分解任务可以将任何BAPO-hard问题转化为BAPO-easy问题。我们的结果为LLM的关键失败提供了有原则的解释，并为缓解带宽限制的架构和推理方法指明了方向。

🔬 方法详解

问题定义：论文旨在解决LLM在需要复杂全局推理任务中的失败问题。现有LLM虽然强大，但在处理需要长距离依赖和全局信息整合的任务时，性能显著下降。现有的研究缺乏对这种失败的系统性解释，以及对LLM内部通信机制的深入理解。因此，论文关注的核心问题是：LLM为何在全局推理任务中失败？其根本原因是什么？

核心思路：论文的核心思路是将LLM的内部通信能力形式化为带宽受限的通信模型。具体来说，论文提出了有界注意力前缀Oracle (BAPO)模型，该模型模拟了注意力机制的带宽限制。通过分析BAPO模型在不同推理任务上的表现，论文可以推断出LLM在哪些类型的任务上会遇到困难，以及这些困难与内部通信带宽之间的关系。这种形式化的方法使得研究人员能够更清晰地理解LLM的局限性，并为改进LLM的架构和推理方法提供指导。

技术框架：论文的技术框架主要包括以下几个部分：1) 提出BAPO模型，该模型将注意力机制的带宽限制形式化。2) 定义BAPO-hard和BAPO-easy任务，用于区分需要高带宽通信和低带宽通信的任务。3) 通过理论分析，证明某些重要的推理问题是BAPO-hard的。4) 通过实验，验证理论预测，并评估LLM在BAPO-hard和BAPO-easy任务上的表现。5) 分析思维链(CoT)对BAPO-hard任务的影响，并证明CoT可以将BAPO-hard问题转化为BAPO-easy问题。

关键创新：论文最重要的技术创新点在于提出了BAPO模型，该模型提供了一种新的视角来理解LLM的局限性。与以往的研究不同，论文没有仅仅关注LLM的外部表现，而是深入研究了LLM的内部通信机制。通过将注意力机制的带宽限制形式化，论文能够更精确地预测LLM在不同任务上的表现，并为改进LLM的设计提供了理论基础。此外，论文还证明了CoT可以有效地缓解LLM的带宽限制，这为提高LLM的推理能力提供了一种新的策略。

关键设计：BAPO模型的核心在于对注意力头的带宽进行建模。具体来说，BAPO模型假设每个注意力头只能访问输入序列的一个有限的前缀。这个前缀的长度可以被视为注意力头的带宽。论文通过调整前缀的长度来模拟不同带宽的注意力头，并分析BAPO模型在不同任务上的表现。此外，论文还定义了BAPO-hard和BAPO-easy任务，这些任务的设计旨在区分需要高带宽通信和低带宽通信的任务。例如，图可达性问题被证明是BAPO-hard的，因为它需要模型能够访问整个图的结构。而一些简单的逻辑推理问题则被认为是BAPO-easy的，因为它们只需要模型访问输入序列的局部信息。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，GPT-4o、Claude和Gemini等先进LLM在BAPO-easy任务上表现出色，但在BAPO-hard任务上即使在相对较小的规模下也表现出明显的失败。此外，实验验证了CoT可以将BAPO-hard问题转化为BAPO-easy问题，从而显著提高LLM在复杂推理任务中的性能。这些结果为理解LLM的局限性以及改进LLM的设计提供了重要的依据。

🎯 应用场景

该研究成果可应用于提升LLM在复杂推理任务中的性能，例如知识图谱推理、代码理解和生成、以及需要长程依赖的自然语言处理任务。通过理解LLM的带宽限制，可以设计更有效的模型架构和推理方法，例如稀疏注意力机制、分层注意力机制、以及基于CoT的推理策略，从而提高LLM的实用性和可靠性。

📄 摘要（原文）

Despite their many successes, transformer-based large language models (LLMs) continue to struggle with tasks that require complex reasoning over large parts of their input. We argue that these failures arise due to capacity limits on the accurate flow of information within LLMs. To formalize this issue, we introduce the bounded attention prefix oracle (BAPO) model, a new computational framework that models bandwidth constraints on attention heads, the mechanism for internal communication in LLMs. We show that several important reasoning problems like graph reachability require high communication bandwidth for BAPOs to solve; we call these problems BAPO-hard. Our experiments corroborate our theoretical predictions: GPT-4o, Claude, and Gemini succeed on BAPO-easy tasks and fail even on relatively small BAPO-hard tasks. BAPOs also reveal another benefit of chain of thought (CoT): we prove that breaking down a task using CoT can turn any BAPO-hard problem into a BAPO-easy one. Our results offer principled explanations for key LLM failures and suggest directions for architectures and inference methods that mitigate bandwidth limits.