The Unreliable Progress Bar: Can LLM Agents Reliably Report Task Progress Throughout Execution?
作者: Boyang Wang, Yunhan Wang, Yalun Wu
分类: cs.SE, cs.AI, cs.CL
发布日期: 2026-09-08
备注: 33 pages, 13 figures, 20 tables
💡 一句话要点
评估大型语言模型在任务执行中报告进度的可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 任务进度报告 代理框架 评估协议 可靠性研究
📋 核心要点
- 现有方法未能系统评估大型语言模型在任务执行中报告进度的可靠性，导致任务控制的潜在风险。
- 论文通过在$τ^2$-bench和StageIF测试平台上进行评估，提出了一种新的评估协议，涵盖任务执行全过程。
- 实验结果显示，几乎所有模型在任务进行中报告准确性下降，而最新模型在任务结束时变得更加保守，揭示了能力差距。
📝 摘要（中文）
近年来，大型语言模型能够发出任务进度信号，供代理框架判断任务是否继续。然而，模型在任务的每个阶段是否能可靠地报告进度，以及其报告失败的原因尚未系统研究。本文在公共基准$τ^2$-bench和StageIF测试平台上评估了这一能力，发现报告的可靠性依赖于任务阶段，几乎所有测试的模型在某些阶段可靠而在其他阶段不可靠。研究揭示了任务进度报告的能力差距，并提供了一个涵盖任务执行全过程的评估协议，表明代理框架不应仅依赖模型的状态报告来控制任务流程。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在任务执行过程中报告进度的可靠性问题。现有方法未能系统性地评估模型在不同任务阶段的报告能力，导致代理框架在任务控制时可能面临不确定性。
核心思路：论文的核心思路是通过设计一个全面的评估协议，系统地测试模型在任务生命周期各个阶段的报告能力，以识别其可靠性和不可靠性阶段。
技术框架：整体架构包括两个主要测试平台：$τ^2$-bench和StageIF。StageIF提供了控制环境，设置了多个报告检查点，以便在任务执行的不同阶段进行评估。
关键创新：最重要的技术创新在于提出了一个涵盖任务执行全过程的评估协议，能够揭示模型在不同阶段的报告能力差异，这在现有研究中尚属首次。
关键设计：在实验中，模型的报告准确性在任务进行时通常下降，而在任务完成后恢复。最新一代模型则在任务结束时表现出更为保守的趋势。
🖼️ 关键图片
📊 实验亮点
实验结果表明，几乎所有测试的模型在任务进行中报告准确性下降，最新模型在任务结束时表现出更为保守的趋势。研究揭示了任务进度报告的能力差距，为未来的模型改进提供了重要依据。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化任务管理和人机交互系统。通过提高大型语言模型在任务执行中的报告可靠性，可以增强代理框架的决策能力，从而提升用户体验和任务完成效率。
📄 摘要（原文）
Recent large language models can emit task-progress signals that agent frameworks use to decide whether a task should continue or stop, yet whether a model can reliably report its task progress at every stage of a task, and where and how its reports fail, has not been studied systematically. We evaluate this ability on the public benchmark $τ^2$-bench and on StageIF, a controlled testbed in which reporting checkpoints are placed across the task's lifecycle. Both settings require reports at multiple task stages. We find that reporting reliability depends on the stage a task has reached, and that almost every deployed model we test is reliable at some stages and unreliable at others. Where reporting breaks down is not the same everywhere. Most deployed models lose accuracy once work is under way and recover once the task is done. The newest generation closes that mid-task drop and instead grows conservative at the finish line. Our study exposes a capability gap in task-progress reporting and provides an evaluation protocol that spans the whole course of task execution for this ability on which agent operation depends. The findings indicate that agent frameworks should not control task flow on the strength of the model's state reports alone.