Harness-Aware Distillation for Small Language Model Agents
作者: Moonseok Choi, Taehong Moon, Giung Nam, Juho Lee
分类: cs.AI
发布日期: 2026-10-02
💡 一句话要点
提出Harness-Aware Distillation以提升小型语言模型代理的性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语言模型 蒸馏训练 代理系统 机器学习 智能助手 决策优化
📋 核心要点
- 现有的蒸馏方法未能有效利用harness信息，导致学生模型在特定任务上的表现不足。
- 本文提出的HAD方法通过关注教师在harness之外的贡献，增强了学生模型的学习能力。
- 实验表明，HAD在多个基准测试中表现优于传统的蒸馏方法，且更能有效避免无效循环。
📝 摘要（中文）
语言模型代理通常配备一个管理其上下文、工具和反馈的软件框架（称为harness）。在将代理蒸馏为更小模型时，harness保持不变，因此学生模型主要需要教师特定的能力，而这些能力是harness无法提供的。标准蒸馏方法模仿教师的完整输出，并将harness视为输入的一部分。本文提出的Harness-Aware Distillation（HAD）专注于教师在harness之外所添加的内容。HAD结合了两个组件：一个对比教师在有无harness信息下的动作偏好，以及一个有效性检查，剔除与harness记录相矛盾的偏好对。实验结果表明，HAD在多个长时间跨度的代理基准测试中超越了传统的蒸馏基线，且无需任务奖励、成功标签或未来信息。
🔬 方法详解
问题定义：本文旨在解决在小型语言模型代理蒸馏过程中，现有方法未能充分利用harness信息的问题。标准蒸馏方法将harness视为输入的一部分，导致学生模型无法学习到教师模型的特定能力。
核心思路：HAD方法的核心在于专注于教师模型在harness之外的贡献，通过对比教师在有无harness信息下的动作偏好，帮助学生模型更好地理解和应用这些信息。
技术框架：HAD的整体架构包括两个主要模块：动作偏好模块和有效性检查模块。动作偏好模块对比教师的动作选择，而有效性检查模块则确保学生模型的选择与harness记录一致。
关键创新：HAD的创新在于其不依赖于任务奖励或成功标签，而是通过对比教师的动作偏好来引导学生模型的学习。这一方法显著提升了学生模型的学习效率和决策能力。
关键设计：在HAD中，动作偏好通过对比分析得出，且有效性检查确保了学生模型的选择符合harness的记录。这种设计使得HAD能够在多个长时间跨度的任务中表现出色。
🖼️ 关键图片
📊 实验亮点
在多个长时间跨度的代理基准测试中，HAD方法显著超越了传统的蒸馏基线，表现出更少的无效循环和更高的错误恢复能力。这表明HAD在学习过程中能够更有效地利用harness信息，提升了模型的整体性能。
🎯 应用场景
该研究的潜在应用场景包括智能助手、自动化客服和其他需要高效决策的小型语言模型代理。通过提升小型模型的性能，HAD能够在资源受限的环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Language model agents are deployed with a harness, the software around the model that manages its context, tools, and feedback. When such an agent is distilled into a smaller one, the harness stays in place, so the student mainly needs the teacher-specific abilities that the harness cannot provide, such as acting correctly on harness information. Standard distillation, however, imitates the teacher's full outputs and treats the harness as part of the input. We propose Harness-Aware Distillation (HAD), which focuses distillation on what the teacher adds beyond the harness. HAD complements on-policy distillation with two components: an action preference that contrasts the same teacher's actions with and without the harness information, scored after the student's own reasoning, and a validity check that drops preference pairs whose preferred action contradicts the harness records. We show that the contrast gives the student information that imitating the teacher alone cannot provide, and HAD needs no task rewards, success labels, or future information. Across multiple long-horizon agent benchmarks and models, HAD outperforms on-policy distillation baselines with the same fixed harness. Our analysis shows that HAD enters fewer unproductive loops and recovers from errors more often than the baselines, and suggests that it adaptively keeps learnable feedback in its weights while reading state information from the harness.