Where Did It All Go Wrong? A Hierarchical Look into Multi-Agent Error Attribution

📄 arXiv: 2510.04886v2 📥 PDF

作者: Adi Banerjee, Anirudh Nair, Tarik Borogovac

分类: cs.AI, cs.MA

发布日期: 2025-10-06 (更新: 2025-10-16)

💡 一句话要点

提出ECHO算法，通过层级上下文和客观共识分析提升多智能体系统错误归因的准确性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 错误归因 层级上下文 共识投票 大语言模型 协作式AI 客观评估

📋 核心要点

  1. 现有方法在复杂多智能体系统中进行错误归因时，难以准确识别智能体和步骤级别的错误，尤其是在涉及微妙推理和复杂依赖关系时。
  2. ECHO算法通过构建层级上下文表示，结合客观分析评估和共识投票机制，提升了错误归因的准确性和鲁棒性。
  3. 实验结果表明，ECHO在多种多智能体交互场景中超越了现有方法，尤其在处理细微推理错误和复杂依赖关系时表现出色。

📝 摘要（中文）

在大语言模型（LLM）多智能体系统中，错误归因对于调试和改进协作式AI系统提出了重大挑战。现有的方法，无论是使用一次性评估、逐步分析还是二分搜索，在分析复杂模式时都存在不足，难以保证准确性和一致性。我们提出了一种名为ECHO（通过上下文层级和客观共识分析进行错误归因）的新算法，该算法结合了层级上下文表示、基于客观分析的评估和共识投票，从而提高错误归因的准确性。我们的方法利用基于位置的上下文理解分层，同时保持客观的评估标准，最终通过共识机制得出结论。实验结果表明，ECHO在各种多智能体交互场景中优于现有方法，尤其是在涉及细微推理错误和复杂相互依赖关系的情况下。我们的研究结果表明，利用结构化的层级上下文表示以及基于共识的客观决策，为多智能体系统中的错误归因提供了一个更强大的框架。

🔬 方法详解

问题定义：论文旨在解决多智能体系统中错误归因的问题。现有方法，如一次性评估、逐步分析和二分搜索，在处理复杂交互模式时，无法准确且一致地定位错误发生的智能体和步骤。这些方法难以捕捉智能体之间微妙的推理错误和复杂的依赖关系，导致调试和改进协作式AI系统变得困难。

核心思路：ECHO的核心思路是利用层级上下文表示来捕捉多智能体交互的复杂性，并结合客观分析和共识投票来提高错误归因的准确性。通过层级结构，ECHO能够理解不同粒度的上下文信息，从而更好地识别错误的原因。客观分析确保评估标准的一致性，而共识投票则可以减少个体评估的偏差，提高整体的鲁棒性。

技术框架：ECHO算法主要包含三个阶段：1) 层级上下文表示：将多智能体交互过程表示为层级结构，每一层代表不同粒度的上下文信息。2) 客观分析评估：使用预定义的客观标准对每个智能体的行为进行评估，生成评估结果。3) 共识投票：通过共识投票机制，综合多个智能体的评估结果，最终确定错误归因。

关键创新：ECHO的关键创新在于其结合了层级上下文表示和共识投票机制。层级上下文表示能够捕捉多智能体交互的复杂性，而共识投票则可以减少个体评估的偏差，提高整体的鲁棒性。与现有方法相比，ECHO能够更准确地识别错误发生的智能体和步骤，尤其是在涉及微妙推理错误和复杂依赖关系的情况下。

关键设计：ECHO的关键设计包括：1) 基于位置的上下文分层：根据智能体在交互过程中的位置，确定其上下文信息的粒度。2) 客观评估标准：预定义的客观标准用于评估每个智能体的行为，例如，完成任务的程度、遵守协议的程度等。3) 共识投票机制：采用加权投票或多数投票等机制，综合多个智能体的评估结果，最终确定错误归因。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，ECHO在各种多智能体交互场景中优于现有方法。尤其是在涉及细微推理错误和复杂相互依赖关系的情况下，ECHO的错误归因准确率显著提升。具体性能数据未知，但论文强调ECHO在复杂场景下的优势。

🎯 应用场景

ECHO算法可应用于各种多智能体协作系统，例如：自动驾驶、机器人协同、智能客服等。通过准确地进行错误归因，可以帮助开发者快速定位和修复系统中的问题，提高系统的可靠性和性能。此外，ECHO还可以用于评估智能体的行为，从而促进智能体之间的有效协作。

📄 摘要（原文）

Error attribution in Large Language Model (LLM) multi-agent systems presents a significant challenge in debugging and improving collaborative AI systems. Current approaches to pinpointing agent and step level failures in interaction traces - whether using all-at-once evaluation, step-by-step analysis, or binary search - fall short when analyzing complex patterns, struggling with both accuracy and consistency. We present ECHO (Error attribution through Contextual Hierarchy and Objective consensus analysis), a novel algorithm that combines hierarchical context representation, objective analysis-based evaluation, and consensus voting to improve error attribution accuracy. Our approach leverages a positional-based leveling of contextual understanding while maintaining objective evaluation criteria, ultimately reaching conclusions through a consensus mechanism. Experimental results demonstrate that ECHO outperforms existing methods across various multi-agent interaction scenarios, showing particular strength in cases involving subtle reasoning errors and complex interdependencies. Our findings suggest that leveraging these concepts of structured, hierarchical context representation combined with consensus-based objective decision-making, provides a more robust framework for error attribution in multi-agent systems.