WebFovea: When the Model Is Right but the Click Is Wrong -- Reliable Round Trips for Vision-Based Web Agents on Live Websites

作者: Jiangang Han

分类: cs.LG, cs.AI, cs.CV

发布日期: 2026-10-02

备注: 10 pages, 4 figures, 7 tables. Technical report of the 2nd-place solution in the WebRetriever Challenge 2026

💡 一句话要点

提出WebFovea以解决视觉基础网络代理在实时网站上的交互问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉基础代理 网页交互 多模态模型 自动化测试 智能代理

📋 核心要点

1. 现有方法在与实时网站交互时，常因模型与页面之间的协调不当而导致失败。
2. WebFovea通过强化四个关键环节，确保模型的决策能够准确传达并执行，从而提升交互的可靠性。
3. 在挑战赛中，WebFovea的得分从31.0提升至57.0，显示出通过改进哈希的有效性和稳定性。

📝 摘要（中文）

我们提出了WebFovea，一个视觉基础的网络代理，在2026年WebRetriever挑战赛中获得第二名，最终得分为57.0（满分100）。该挑战评估代理在WebRetriever基准的第三协议下的端到端表现：从一个入口URL开始，代理必须操作网站的界面并返回可验证的答案。尽管需要一个强大的多模态大语言模型（LLM），但仅有模型并不足够。模型的决策通过“哈希”传递到浏览器，每一步都必须确保四个环节正确：模型的回复必须解析为预期的动作，动作必须在页面上生效，结果必须准确报告，模型必须获得所需信息。在真实网站上，我们观察到许多失败发生在这四个阶段之一，而不是模型的推理上。WebFovea强化了每个阶段，并在循环周围设置了保护措施，以确保代理在规则和预算内运行。

🔬 方法详解

问题定义：本论文旨在解决视觉基础网络代理在实时网站交互中的可靠性问题。现有方法常常因模型与网页之间的协调不当而导致交互失败，影响最终结果的准确性。

核心思路：WebFovea的核心思路是通过强化模型决策的执行过程，确保每一步都能正确传达和执行，从而减少因协调不当导致的失败。该方法强调四个关键环节的有效性，确保模型的决策能够在实际操作中得到实现。

技术框架：WebFovea的整体架构包括四个主要阶段：解析模型回复、执行页面动作、准确报告结果以及向模型提供必要信息。每个阶段都经过强化设计，以确保在真实网站上操作的可靠性。

关键创新：WebFovea的主要创新在于其四阶段的设计思路，强调了模型决策与页面交互之间的协调性。这一设计使得代理能够在复杂的网页环境中更可靠地执行任务，显著提高了交互的成功率。

关键设计：在技术细节上，WebFovea采用了特定的参数设置和损失函数，以优化每个阶段的执行效果。此外，针对不同类型的网页元素（如下拉菜单、iframe等），进行了专门的处理，以避免常见的失败情况。

🖼️ 关键图片

📊 实验亮点

在2026年WebRetriever挑战赛中，WebFovea的得分从31.0提升至57.0，显示出在优化哈希和增强交互可靠性方面的显著进步。该系统在处理复杂网页时的成功率大幅提高，证明了其设计的有效性和实用性。

🎯 应用场景

WebFovea的研究成果具有广泛的应用潜力，特别是在需要自动化网页交互的领域，如在线客服、信息检索和自动化测试等。其可靠的交互能力可以提升用户体验，并为开发更智能的网络代理提供基础。未来，WebFovea的设计思路也可扩展至其他多模态交互场景，推动智能代理技术的发展。

📄 摘要（原文）

We present WebFovea, a vision-based web agent that placed 2nd in the WebRetriever Challenge 2026 with a final score of 57.0 out of 100. The challenge evaluates agents end to end on Protocol III of the WebRetriever benchmark (arXiv:2607.06118): starting from an entry URL on a live website, the agent must operate the site's own interface and return a verifiable answer. A capable multimodal large language model (LLM) is necessary for this, but not sufficient. The model's decisions reach the browser through the harness, the code between the model and the page. At every step, four things must go right: the model's reply must be parsed into the intended action, the action must take effect on the page, the result must be reported back accurately, and the model must be shown the information it needs. On real websites, many of the failures we observed occurred at one of these four stages rather than in the model's reasoning. A coordinate-space mismatch placed every click at 3/4 of its intended coordinates; actions on native dropdowns, inside iframes, and in text boxes failed silently; and self-generated chat-template tokens contaminated 4.9% of task episodes. WebFovea hardens each stage and surrounds the loop with guardrails that keep the agent within the rules and its budget. The four-stage view does not depend on the model, although some individual fixes do. Because we used the same model in all four submissions, the rise of our official hidden-set score from 31.0 to 57.0 reflects changes to the harness, up to run-to-run variance on live sites. We describe the design, the evidence for each component (including negative results), a failure analysis, the limitations, and a roadmap that includes routing different steps to different models.