When Faster Decisions Do Not Make Better Agents: An Empirical Study of Jev in Agent Workflows
作者: Yuchen Ling, Shengcheng Yu, Zhenyu Chen, Chunrong Fang
分类: cs.AI
发布日期: 2026-10-09
💡 一句话要点
研究Jev在代理工作流中的效率转移问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代理工作流 决策效率 Jev 任务成功率 资源使用 人工智能代理 实验研究
📋 核心要点
- 现有的AI代理在任务完成中面临决策效率与成功率之间的权衡，尤其是在使用Jev时。
- 论文提出通过实证研究评估Jev在不同代理工作流中的效率转移，探索决策成本与任务成功之间的关系。
- 实验结果表明，尽管Jev降低了决策成本和延迟，但在某些场景下任务成功率却有所下降，提示需关注恢复与验证机制。
📝 摘要（中文）
人工智能代理依赖于重复决策来完成任务，大型语言模型（LLMs）通常作为其核心决策者。Jev的出现提供了更快且更低成本的决策机会。然而，这种局部节省是否能转化为高效可靠的任务完成仍不明确。本文通过在ALFWorld和AndroidWorld的五个代理进行实验，评估任务有效性、资源使用和执行行为。结果显示，Jev集成显著降低了决策成本和延迟，但任务成功率在不同工作流中存在差异，尤其在移动代理中下降明显。辅助推理和额外交互吸收了决策节省，而失败恢复和过早完成限制了成功交付。成功结果的平均成本在某些代理中上升，尽管每次尝试的支出下降。这些发现强调了在代理工作流中集成高效决策模型时，保持进展、支持恢复和验证完成的重要性。
🔬 方法详解
问题定义：本文旨在探讨Jev在代理工作流中的效率转移问题，现有方法在决策速度与任务成功率之间存在矛盾，尤其在移动应用场景中表现不佳。
核心思路：通过对五个代理在ALFWorld和AndroidWorld中的表现进行实证分析，评估Jev集成对决策成本和任务成功率的影响，旨在揭示高效决策模型的实际应用效果。
技术框架：研究设计包括任务执行、决策成本评估、资源使用分析和执行行为观察四个主要模块，结合4,500次任务执行数据进行综合评估。
关键创新：本研究的创新在于系统性地分析了Jev集成对不同工作流的影响，揭示了决策节省与任务成功之间的复杂关系，强调了恢复和验证机制的重要性。
关键设计：在实验中，设置了多种参数以评估决策成本和任务成功率，采用了特定的损失函数来优化决策过程，并分析了不同代理在不同场景下的表现差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Jev集成在所有五个代理中显著降低了决策成本和延迟，然而在ALFWorld中任务成功率接近基线水平，而在两个移动代理中则显著下降。某些代理的成功结果平均成本上升，尽管每次尝试的支出下降，提示需关注决策节省与任务成功之间的平衡。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和移动应用等，能够为AI代理的决策效率和任务成功率提供实证依据。未来，研究结果可用于优化代理工作流，提升用户体验和任务完成率，具有重要的实际价值。
📄 摘要（原文）
AI agents depend on repeated decisions to accomplish tasks, with large language models (LLMs) commonly serving as their core decision makers. The recent emergence of Jev offers an opportunity to make these decisions faster and at lower cost. However, it remains unclear whether such local savings can be translated into efficient and reliable task completion. In this paper, we investigate this efficiency transfer across five agents in two representative application settings, embodied tasks in ALFWorld and mobile app use in AndroidWorld. Across 4,500 task executions, we jointly evaluate task effectiveness, decision-level and task-level resource use, and execution behavior. Experimental results show that Jev integration substantially reduces decision cost and latency across all five agents, with task-level gains varying by workflow. Task success remains close to baseline levels on ALFWorld and declines more substantially in two mobile agents. Auxiliary reasoning and additional interactions absorb decision savings, while failed recovery and premature completion limit successful delivery. Mean cost per successful outcome increases in one agent even as spending per attempt falls. These findings highlight the importance of preserving progress, supporting recovery, and verifying completion when integrating efficient decision models into agent workflows. Their practical value should be assessed through successful task delivery, recovery behavior, and resources per delivered outcome.