OpenWebVoyager: Building Multimodal Web Agents via Iterative Real-World Exploration, Feedback and Optimization
作者: Hongliang He, Wenlin Yao, Kaixin Ma, Wenhao Yu, Hongming Zhang, Tianqing Fang, Zhenzhong Lan, Dong Yu
分类: cs.CL, cs.AI
发布日期: 2024-10-25
💡 一句话要点
OpenWebVoyager：通过迭代式真实网络探索、反馈与优化构建多模态Web Agent
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态Web Agent 自主探索 迭代优化 模仿学习 强化学习 真实环境 反馈学习
📋 核心要点
- 现有Web Agent主要依赖文本信息，在模拟环境中训练，难以应对真实网络环境中的多模态信息和复杂反馈。
- OpenWebVoyager框架通过模仿学习初始化Agent，然后通过在真实网络环境中探索、收集反馈和优化策略进行迭代改进。
- 实验结果表明，该框架能够有效提升Web Agent在真实网络环境中的性能，并在多个测试集上表现出强大的能力。
📝 摘要（中文）
大型语言模型和多模态模型的快速发展激发了人们对使用GPT-4o等专有模型开发能够处理真实世界场景（如Web导航）的自主Agent的浓厚兴趣。虽然最近的开源工作试图使Agent具备探索环境并随时间持续改进的能力，但它们构建的是仅限文本的Agent，且在奖励信号明确定义的合成环境中。这些Agent难以泛化到需要多模态感知能力且缺乏真实信号的现实环境中。本文介绍了一个开源框架，旨在促进多模态Web Agent的开发，该Agent可以自主进行真实世界的探索并自我改进。我们首先通过模仿学习训练基础模型以获得基本能力。然后，我们让Agent探索开放网络并收集关于其轨迹的反馈。之后，它通过学习由另一个通用模型判断为表现良好的轨迹来进一步改进其策略。这种探索-反馈-优化循环可以持续多次迭代。实验结果表明，我们的Web Agent在每次迭代后都能成功地自我改进，从而在多个测试集中表现出强大的性能。
🔬 方法详解
问题定义：现有Web Agent主要依赖文本信息，并且在模拟环境中进行训练，这导致它们难以泛化到真实的Web环境中。真实的Web环境包含大量的多模态信息（例如图像、视频），并且缺乏明确的奖励信号，这使得Agent难以进行有效的探索和学习。因此，如何构建一个能够自主探索真实Web环境并从中学习的多模态Web Agent是一个重要的挑战。
核心思路：OpenWebVoyager的核心思路是通过迭代式的探索、反馈和优化来提升Agent的性能。Agent首先通过模仿学习获得基本的Web导航能力，然后在真实Web环境中进行探索，并收集关于其轨迹的反馈。这些反馈被用于优化Agent的策略，使其能够更好地完成Web导航任务。这种迭代式的过程使得Agent能够不断地从真实环境中学习，并逐步提升其性能。
技术框架：OpenWebVoyager框架包含三个主要阶段：模仿学习、探索与反馈、策略优化。在模仿学习阶段，使用标注数据训练一个基础模型，使其具备基本的Web导航能力。在探索与反馈阶段，Agent在真实Web环境中进行探索，并记录其轨迹。同时，使用另一个通用模型对Agent的轨迹进行评估，并生成反馈信号。在策略优化阶段，使用收集到的轨迹和反馈信号来优化Agent的策略。这个过程可以迭代多次，直到Agent的性能达到满意的水平。
关键创新：OpenWebVoyager的关键创新在于其迭代式的探索、反馈和优化框架。该框架使得Agent能够不断地从真实Web环境中学习，并逐步提升其性能。此外，该框架还引入了一个通用模型来评估Agent的轨迹，并生成反馈信号，这使得Agent能够更好地理解其行为的影响。
关键设计：在模仿学习阶段，使用了交叉熵损失函数来训练基础模型。在探索与反馈阶段，使用了ε-greedy策略来鼓励Agent进行探索。在策略优化阶段，使用了强化学习算法（例如PPO）来优化Agent的策略。通用模型可以是预训练的大型语言模型，例如GPT-4o，用于评估Agent的轨迹并生成反馈信号。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OpenWebVoyager框架能够有效提升Web Agent在真实Web环境中的性能。经过多次迭代的探索、反馈和优化，Agent在多个测试集上的性能得到了显著提升，证明了该框架的有效性。具体的性能数据和对比基线在论文中进行了详细的展示。
🎯 应用场景
OpenWebVoyager框架可应用于构建各种自主Web Agent，例如智能助手、自动信息收集器和自动化测试工具。这些Agent可以帮助用户更高效地完成各种Web相关的任务，例如预订机票、搜索信息和监控网站。该研究的未来影响在于推动Web Agent的智能化和自主化，从而改变人们与Web交互的方式。
📄 摘要（原文）
The rapid development of large language and multimodal models has sparked significant interest in using proprietary models, such as GPT-4o, to develop autonomous agents capable of handling real-world scenarios like web navigation. Although recent open-source efforts have tried to equip agents with the ability to explore environments and continuously improve over time, they are building text-only agents in synthetic environments where the reward signals are clearly defined. Such agents struggle to generalize to realistic settings that require multimodal perception abilities and lack ground-truth signals. In this paper, we introduce an open-source framework designed to facilitate the development of multimodal web agent that can autonomously conduct real-world exploration and improve itself. We first train the base model with imitation learning to gain the basic abilities. We then let the agent explore the open web and collect feedback on its trajectories. After that, it further improves its policy by learning from well-performing trajectories judged by another general-purpose model. This exploration-feedback-optimization cycle can continue for several iterations. Experimental results show that our web agent successfully improves itself after each iteration, demonstrating strong performance across multiple test sets.