StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure
作者: Wenyi Wu, Sibo Zhu, Kun Zhou, Aayush Salvi, Zixuan Song, Biwei Huang
分类: cs.AI, cs.CL, cs.LG, cs.MA
发布日期: 2026-07-13
💡 一句话要点
提出StructAgent以解决长时间任务执行中的状态管理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间任务执行 数字代理 因果表示 状态管理 工作流程调节 验证机制 多模态模型 任务进展
📋 核心要点
- 现有数字代理在长时间任务执行中面临状态管理困难，导致任务进展难以验证和恢复。
- StructAgent通过统一的因果表示结构化代理的状态和工作流程，确保任务进展的可验证性和有效性。
- 实验结果显示，StructAgent在OSWorld-Verified上显著提高了成功率，且在Minecraft等环境中也表现出良好的通用性。
📝 摘要（中文）
近年来，随着大型语言模型和视觉语言模型的发展，数字代理在计算机使用中变得越来越强大。然而，现实世界的任务通常是长时间的，涉及不断变化的上下文，包括累积的观察、临时编辑、失败尝试和部分完成的执行。现有代理通常在原始交互历史上操作，使得任务进展难以解释、验证和恢复，限制了可靠的长时间执行。本文提出StructAgent，一个以状态为中心的框架，通过统一的因果表示来维护紧凑、可验证的任务进展，并通过验证者支持的状态转换来调节工作流程。实验表明，StructAgent在长时间计算机使用任务上显著提升了多种LLM和VLM的性能。
🔬 方法详解
问题定义：本文旨在解决现有数字代理在长时间任务执行中的状态管理问题，现有方法在处理复杂任务进展时缺乏有效的结构化，导致难以验证和恢复任务进展。
核心思路：StructAgent的核心思路是通过统一的因果表示来明确代理的状态和工作流程，确保所有进展更新都基于验证，从而提高任务执行的可靠性和可追溯性。
技术框架：StructAgent的整体架构包括一个统一的状态管理模块和一个结构化的工作流程模块。状态管理模块负责维护任务进展的紧凑性和可验证性，而工作流程模块则通过验证者支持的状态转换来调节任务进展。
关键创新：StructAgent的主要创新在于引入了明确的进展检查点和证据驱动的任务完成机制，这与现有方法的原始交互历史处理方式形成了鲜明对比。
关键设计：在设计上，StructAgent采用了多层次的状态表示和动态的工作流程调节机制，确保在任务执行过程中能够实时更新和验证状态，同时支持失败恢复和工具辅助执行。具体的参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
在实验中，StructAgent在OSWorld-Verified数据集上显著提高了Qwen3.5-9B的成功率，从27.0%提升至46.9%，Qwen3.5-27B的成功率从31.6%提升至62.2%。此外，StructAgent在MiniMax-M3上达到了78.9%的新开源状态，展示了其在长时间任务执行中的优越性能。
🎯 应用场景
StructAgent的研究成果在多个领域具有潜在应用价值，尤其是在需要长时间任务执行的场景中，如软件开发、游戏设计和复杂数据分析等。通过提高任务进展的可验证性和可靠性，StructAgent能够帮助用户更高效地完成复杂任务，降低错误率，并提升工作效率。未来，该框架的设计理念也可能扩展到其他智能代理系统中。
📄 摘要（原文）
Recent advances in large language models (LLMs) and vision-language models (VLMs) have enabled increasingly capable digital agents for computer use. However, real-world tasks are often long-horizon and involve evolving contexts containing accumulated observations, intermediate edits, failed attempts, and partially completed executions. Existing agents typically operate over raw interaction history, making task progress difficult to interpret, verify, and recover, which ultimately limits reliable long-horizon execution. In this paper, we argue that addressing this challenge requires explicitly structuring both the agent's state and workflow around a unified causal representation of task progress. We present \textbf{StructAgent}, a state-centered framework that introduces a unified state for maintaining compact, verifiable task progress and a structured workflow that regulates progress through verifier-backed state transitions. Building on this design, StructAgent further enables explicit progress checkpointing, evidence-driven task completion, targeted failure recovery, and tool-supported execution, while ensuring that all progress updates remain grounded in verification. Extensive experiments demonstrate that StructAgent consistently improves a wide range of LLM and VLM backbones on long-horizon computer-use tasks. On OSWorld-Verified, it improves Qwen3.5-9B from 27.0\% to 46.9\% success rate and Qwen3.5-27B from 31.6\% to 62.2\%, while achieving a new open-source state of the art of 78.9\% with MiniMax-M3. Moreover, the same framework generalizes beyond desktop environments to Minecraft, demonstrating the generality of our design.