Teaching Agents in their Own Style: Blackbox Teacher Distillation for Web Agents
作者: Md Farhan Ishmam, Kenneth Marino
分类: cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出WebKD以解决黑箱教师蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 黑箱模型 教师蒸馏 开放模型 强化学习 智能代理 推理轨迹 错误编辑
📋 核心要点
- 现有方法在训练开放模型时，无法有效利用封闭教师模型的知识，导致性能不足。
- 论文提出WebKD，通过教师编辑学生的失败，最小化编辑并保持学生的风格，提升学习效果。
- 在TimeWarp基准测试中，WebKD学生的表现显著提升，且在未见版本和在线环境中也表现良好。
📝 摘要（中文）
前沿的网络代理使用封闭模型，面临高推理和计算成本。较小的开放模型可以作为替代，但需要人类或教师模型的训练监督。传统的离线模仿教师演示的方法存在问题，因为学生在未访问的状态下进行训练，且风格不一致。本文提出WebKD，教师作为学生失败的编辑者，针对失败的情节找到错误点，并从该点起重写学生的推理轨迹、状态和动作。WebKD旨在最小化编辑，教师在数据空间中以学生的风格进行每次修正，在目标空间中根据其对动作的贡献加权推理。实验表明，WebKD在TimeWarp基准上，学生的表现比行为克隆、结果奖励强化学习和教师编辑基线提高了5.5-10.7个百分点。
🔬 方法详解
问题定义：本文旨在解决开放模型在缺乏有效教师监督时的性能不足问题。现有的离线模仿方法无法有效利用封闭教师模型的知识，导致学生在未访问状态下进行训练，且风格不一致。
核心思路：WebKD的核心思路是将教师作为学生失败的编辑者，通过分析失败情节，找到错误点并进行最小化编辑，确保教师的修正以学生的风格进行，从而提升学习效果。
技术框架：整体架构包括教师模型和学生模型，教师模型负责分析学生的失败并进行编辑，学生模型则在教师的指导下进行学习。主要模块包括错误检测、推理轨迹重写和状态动作更新。
关键创新：最重要的技术创新在于教师的编辑过程，教师在数据空间中以学生的风格进行修正，而在目标空间中根据推理对动作的贡献进行加权。这种方法与传统的直接模仿方法有本质区别。
关键设计：在设计中，采用了角色不对称的KL锚点，使得修正后的动作可以自由移动，同时保持推理接近学生的先前状态。损失函数的设计考虑了推理的贡献，以确保学习的有效性。
🖼️ 关键图片
📊 实验亮点
在TimeWarp基准测试中，WebKD学生的表现比行为克隆、结果奖励强化学习和教师编辑基线提高了5.5-10.7个百分点。此外，该方法在未见版本和在线环境中的表现也得到了验证，显示出良好的迁移能力。
🎯 应用场景
该研究的潜在应用领域包括智能代理、自动化决策系统和人机协作等。通过提升开放模型的性能，WebKD可以在实际应用中显著降低计算成本，提高效率，未来可能对智能系统的普及和发展产生深远影响。
📄 摘要（原文）
Frontier web agents using closed models have high inference and computational costs. Smaller open models can be an alternative, but to be performant, they require training supervision from a human or teacher model. Token-level teacher distillation is not an option for closed teachers as it needs access to the model's logits. The standard approach is to imitate teacher demonstrations offline, but it trains the student on states it has never visited, and in a style it does not write in. We introduce WebKD, where the teacher is the editor of the student's failures. Given a failed episode, the teacher finds the first point of mistake, and rewrites the student's reasoning traces, harness states, and actions from that point onward. The editing reveals that the teacher's corrections can be more surprising to the student than the student's own text. WebKD instead aims to edit minimally. In the data space, the teacher writes each correction in the student's style. In the objective space, the reasoning is weighted by its contribution to the action. A role-asymmetric KL anchor allows the corrected action to move freely while keeping the reasoning near the student's prior. On the TimeWarp benchmark, WebKD students gain about 5.5-10.7 pp over behavior cloning, outcome-reward RL, and teacher editing baselines. The performance transfers to unseen versions and to the live web in the OnlineMind2Web benchmark. WebKD opens a new way of distilling black-box models to improve the capabilities of open-weight web agents.