GraphACM: Graph-based Action Consistency Measurement for Uncertainty Quantification in LLM Agents
作者: Yaxin Ma, Wenbo Zhang, Satya Krishna Pothapragada, Alina Zare
分类: cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出GraphACM以解决LLM代理行为一致性测量问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 行为一致性 不确定性量化 图结构 大型语言模型 智能代理 任务成功预测
📋 核心要点
- 现有方法在评估LLM代理的行为一致性时，通常只能提供单一的任务级别评分，无法识别具体的行为差异。
- 本文提出了一种基于图的框架，通过合并相同任务的多个回合，细化行为一致性测量，增强不确定性量化能力。
- 在ALFWorld、AppWorld和WebShop上的实验结果显示，本文方法的任务成功预测AUROC达0.811，显著优于现有基线。
📝 摘要（中文）
行为一致性在重复执行中为评估大型语言模型（LLM）代理的可靠性提供了重要信号。然而，现有方法通常仅用单一任务级别评分来总结一致性，未能识别行为差异发生的具体位置或在相同决策上下文中比较行动。本文提出了一种基于图的框架，用于细粒度的行为一致性测量和不确定性量化。通过将相同任务的多个回合合并为一个有向、标记动作的图，本文实现了在共享决策状态下的行动比较。我们引入了节点级和全局的行动一致性度量，并使用全局一致性评分作为不确定性的代理，以预测任务的成功或失败。实验结果表明，该度量与任务成功呈正相关，平均AUROC达到0.811，超越了最强的行为一致性基线（0.729）和口头信心（0.769）。
🔬 方法详解
问题定义：本文旨在解决现有方法在评估大型语言模型（LLM）代理行为一致性时的不足，尤其是无法识别行为差异及其决策上下文的局限性。
核心思路：通过构建一个有向、标记动作的图，将相同任务的多个回合合并，允许在共享决策状态下进行细粒度的行动比较，从而实现行为一致性测量和不确定性量化。
技术框架：整体框架包括多个模块：首先收集相同任务的多个回合数据，然后合并为一个图结构，接着计算节点级和全局的一致性度量，最后利用全局一致性评分预测任务成功与否。
关键创新：本文的主要创新在于引入了图结构来实现细粒度的行为一致性测量，能够在相同决策状态下比较行动，这一方法与传统的单一评分方法本质上不同。
关键设计：在设计中，节点级和全局一致性度量的计算方式是关键，损失函数的选择和图的构建方式也对最终的预测性能有重要影响。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文提出的行为一致性测量方法在任务成功预测中取得了平均AUROC 0.811，显著高于最强基线0.729和口头信心0.769，证明了该方法的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化决策系统和人机交互等。通过提高LLM代理的行为一致性评估能力，可以增强其在复杂任务中的可靠性和信任度，推动智能系统的实际应用和发展。
📄 摘要（原文）
Behavioral consistency across repeated executions provides an informative signal for assessing the reliability of large language model (LLM) agents. However, existing approaches typically summarize consistency with a single task-level score, without identifying where behavioral differences occur or whether actions are compared under equivalent decision contexts. We propose a graph-based framework for fine-grained behavioral consistency measurement and uncertainty quantification. Given multiple rollouts of the same task, we merge equivalent states into a directed, action-labeled graph, enabling action comparisons at shared decision states. We introduce node-level and global measures of action consistency, using the global consistency score as a proxy for uncertainty to predict task success or failure. Experiments across three LLMs on ALFWorld, AppWorld, and WebShop demonstrate that our measure is positively associated with task success and achieves an average AUROC of 0.811 for task-success prediction, outperforming the strongest behavioral-consistency baseline (0.729) and verbalized confidence (0.769). These results highlight the effectiveness of state-conditioned behavioral consistency and pinpoint where agent actions agree.