Async-RBench: Benchmarking Asynchronous Task Execution in LLM Agents

📄 arXiv: 2610.32429v1 📥 PDF

作者: Detao Zeng, Guilin Ou, Nuo Chen, Yunhao Feng, Hongliang Wang, Qinli Yang, Junming Shao, Zhong Zhang

分类: cs.AI

发布日期: 2026-10-23

备注: 25 pages, 16 figures. Code is available at https://github.com/pope8zdt/Async-RBench

💡 一句话要点

提出Async-RBench以解决LLM代理异步任务执行评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异步任务执行 大型语言模型 基准测试 动态重规划 事件响应合同 智能代理 任务成功率

📋 核心要点

  1. 现有方法在异步任务执行中面临挑战，无法有效处理任务状态变化和结果到达的顺序。
  2. 论文提出Async-RBench基准，通过场景控制器和事件响应合同来规范异步任务执行的评估。
  3. 实验结果显示，异步交付下的任务成功率低于批量交付，且动态重规划评分（DRS）提升有限，突显了异步执行的复杂性。

📝 摘要（中文）

大型语言模型（LLM）代理越来越多地以异步方式执行任务：主代理在其子代理运行时继续工作，而任务状态可能在结果到达之前发生变化。主代理必须决定更新或保留哪些工作，重复哪些检查，同时避免禁止的更改。仅仅依赖最终任务成功并不能揭示结果是否正确处理，且自然的异步到达难以重现。我们提出了Async-RBench，一个用于LLM代理异步任务执行的基准，涵盖200个可执行任务和八种场景。场景控制器根据预定义的任务状态条件调节结果交付，而事件响应合同（ERC）规定每个响应必须改变、保留、避免和重新验证的内容。动态重规划评分（DRS）对响应过程和结果进行同等加权，并与任务成功分开报告。我们评估了九个代理，发现DRS评分在19.2到45.1之间，重复报告和子代理失败的得分最低。所有九个代理在异步交付下的任务成功率低于批量交付（平均26.0%对29.7%）。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型（LLM）代理在异步任务执行中的评估问题。现有方法未能有效处理任务状态变化和结果到达的顺序，导致任务成功率的评估不准确。

核心思路：论文提出Async-RBench基准，通过引入场景控制器和事件响应合同（ERC），规范异步任务执行的评估标准，从而更全面地反映代理在处理异步结果时的能力。

技术框架：整体架构包括任务场景的定义、结果交付的调节机制和响应合同的制定。场景控制器负责根据预定义条件调节结果交付，而ERC则明确响应的处理要求。

关键创新：最重要的技术创新在于引入动态重规划评分（DRS），该评分将响应过程和结果同等加权，提供了比传统任务成功率更全面的评估方式。

关键设计：在设计中，ERC规定了每个响应必须改变、保留、避免和重新验证的内容，确保了评估的系统性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，九个代理在异步交付下的任务成功率平均为26.0%，低于批量交付的29.7%。动态重规划评分（DRS）在19.2到45.1之间，表明在处理重复报告和子代理失败时的表现较差，突显了异步任务执行的复杂性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和复杂任务调度等场景。通过提供更可靠的异步任务执行评估，Async-RBench可以帮助开发更高效的LLM代理，提升其在实际应用中的表现和可靠性。

📄 摘要（原文）

Large language model (LLM) agents increasingly execute tasks asynchronously: a main agent continues working while its subagents run, and the task state may change before their results arrive. The main agent must decide which work to update or preserve and which checks to repeat, while avoiding prohibited changes. Final task success alone does not reveal whether these results were handled correctly, and natural asynchronous arrivals are hard to reproduce. We introduce Async-RBench, a benchmark for asynchronous task execution in LLM agents, with 200 executable tasks covering eight scenarios. A scenario controller regulates result delivery using predefined task-state conditions, while an Event Response Contract (ERC) specifies what each response must change, preserve, avoid, and re-verify. The Dynamic Replanning Score (DRS) weights the response process and outcome equally and is reported separately from task success. We evaluate nine agents and find DRS scores of 19.2 to 45.1, with the lowest scores on duplicate reports and subagent failures. Under our execution protocol, all nine agents obtain lower task success with asynchronous than with batched delivery (26.0% vs. 29.7% on average). For three agents, prompting the main agent to rebuild its plan after every result improves DRS by only 2.6 to 3.5 points. Together, these findings highlight the challenges of reliable asynchronous task execution and the need to evaluate how agents handle incoming results alongside end-to-end task success.