Harness-Zero: Harness Distillation via Agent-as-Harness
作者: Haoran Ye, Yuxing Lu, Haonan Dong, Zhaochen Su, Guojie Song
分类: cs.AI, cs.CL, cs.NE
发布日期: 2026-09-21
💡 一句话要点
提出Harness-Zero以解决代理与环境交互的优化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 代理工具 蒸馏训练 模型优化 行为转移 人工智能 任务成功率 知识工作 科学研究
📋 核心要点
- 现有方法在不同领域和模型中依赖于特定的代理工具，导致通用代理面临性能瓶颈。
- 论文提出Harness-Zero，通过将代理视为工具，利用优化工具的指导进行蒸馏，从而实现行为转移。
- 实验结果显示，Harness-Zero在去除专用工具后，任务成功率从23.3%提升至44.3%，并且恢复了基础模型缺失的行为。
📝 摘要（中文）
代理工具是调节模型与环境交互的外部系统，能够显著提升代理性能，但其优势在部署时依赖于特定的工具。由于最佳工具因领域、实例和模型而异，通用代理必须在次优共享工具和不断增长的专用工具之间做出选择。本文研究了代理工具蒸馏，通过使用领域或实例优化的工具作为训练指导，将其诱导的行为转移到模型权重中，从而使得在单一固定目标工具下仍能保留其优势。我们提出了Harness-Zero，通过将代理视为工具，使得优化工具的指导能够转化为训练示范，从而在目标工具的动作空间中纠正学生响应。实验表明，Harness-Zero在多个领域的任务成功率显著提升。
🔬 方法详解
问题定义：本文旨在解决代理工具在不同领域和模型中性能不一致的问题。现有方法依赖于特定的工具，导致通用代理无法充分发挥潜力。
核心思路：Harness-Zero通过将优化的代理工具作为训练指导，转化为训练示范，使得模型在目标工具的动作空间中能够纠正响应，从而实现行为的内化。
技术框架：该方法包括两个主要阶段：首先，利用优化工具指导代理的行为；其次，在目标工具的动作空间中进行响应纠正和模型微调。
关键创新：Harness-Zero的核心创新在于将代理视为工具，通过这种方式实现了工具蒸馏，克服了不同工具间动作空间和信息可用性差异的问题。
关键设计：在设计中，采用了特定的损失函数来平衡优化工具与目标工具之间的指导差异，同时在网络结构上进行了适应性调整，以确保模型能够有效吸收优化工具的行为特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用Harness-Zero后，基础模型的宏平均任务成功率从23.3%提升至44.3%，并且在去除专用工具后，成功率甚至超过了41.7%。此外，Harness-Zero在28种模式下恢复了82.3%的缺失行为，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括知识工作、工具使用和科学研究等多个领域。通过提升模型在不同环境下的适应能力，Harness-Zero能够为智能代理的广泛应用提供更为稳健的解决方案，推动人工智能技术的实际应用与发展。
📄 摘要（原文）
Agent harnesses, the external systems that mediate model-environment interaction, can substantially improve agent performance, but their gains remain tied to the harness at deployment. Because the best harness varies across domains, instances, and models, a general-purpose agent must either settle for a suboptimal shared harness or route among an ever-growing set of specialized ones. We therefore study agent harness distillation: using a domain- or instance-optimized harness as training-time guidance and transferring the behaviors it induces into model weights, so that its gains survive under a single fixed target harness. The challenge is that the two harnesses differ in action space and available information, so guidance from the optimized harness cannot serve directly as supervision for the target one. We introduce Harness-Zero, which enables harness distillation through agent-as-harness. Guided by the optimized harness, a harnessing agent corrects student responses before execution in the target harness's action space, turning harness guidance into training demonstrations. Fine-tuning on the resulting trajectories internalizes harness-induced behavior into the model, so the specialized harness can be removed at deployment. Our experiments spanning knowledge work, tool use, and science domains show that: (1) For frontier LLMs using the same evolved harness, agent-as-harness outperforms code-as-harness. (2) With the specialized harness removed at deployment, Harness-Zero improves the base model's macro-average task success from 23.3% to 44.3%, even exceeding the 41.7% it reaches with that harness still attached. (3) Harness-Zero recovers harness-induced behaviors absent from the base model, with 82.3% average recovery across 28 patterns in the three domains.