Harness Policy Distillation: Aligning Agent Policies with Runtime Semantics

📄 arXiv: 2610.20261v1 📥 PDF

作者: Junze Zhu, Weihao Chen, Zhiyang Zhou, Zhen Wu, Xinyu Dai

分类: cs.LG, cs.AI

发布日期: 2026-10-14

备注: 23 pages, 9 figures

💡 一句话要点

提出Harness Policy Distillation以解决运行时语义对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 运行时语义 策略蒸馏 智能体部署 动作选择 深度学习

📋 核心要点

  1. 现有方法在智能体部署中未能明确运行时语义，导致动作执行的有效性和合规性不足。
  2. 本文提出HPD，通过将运行时控制语义作为显式训练目标，结合动作监督来对齐智能体的策略。
  3. 实验表明，HPD显著提高了模型的任务完成率和运行时合规性，验证了其有效性。

📝 摘要（中文）

在将通用模型作为智能体部署时，需要在特定产品的运行时环境中运行，该环境决定可执行的动作、状态的推进方式以及循环的终止时机。传统的轨迹监督仅显示采取的动作，而未明确运行时语义。本文提出了Harness Policy Distillation（HPD），将运行时控制语义作为显式训练目标，与动作一起对齐。HPD通过在运行时环境中重放参考轨迹，恢复隐含于普通轨迹数据中的运行时语义，并在每个模型调用边界表示为控制文档。这些文档为教师生成动作提供了特权信息，同时运行时验证确保生成的目标在运行时契约下可执行。通过对从控制状态特权信息和原生历史中恢复的运行时语义进行联合训练，模型政策内化了这些语义。实验结果显示，使用HPD训练的Qwen3-8B在TRAJECT-Bench上达到了22.98%的自主任务成功率和49.23%的运行时合规性，显著优于未适配模型的3.09%和19.90%。

🔬 方法详解

问题定义：本文旨在解决在智能体部署中运行时语义不明确的问题。现有方法仅依赖轨迹监督，未能有效捕捉与动作相关的运行时控制语义，导致执行效率低下和合规性不足。

核心思路：HPD的核心思想是将运行时控制语义作为显式的训练目标，与动作监督相结合。通过重放参考轨迹，恢复隐含的运行时语义，并在模型调用边界生成控制文档，从而为动作生成提供特权信息。

技术框架：HPD的整体架构包括两个主要模块：一是通过重放参考轨迹恢复运行时语义，二是利用控制文档进行联合训练。训练过程中，模型在原生历史和控制状态特权信息的基础上进行优化。

关键创新：HPD的创新在于将运行时语义转化为密集监督，显著提高了智能体在决策边界的动作选择能力。这一方法与传统的轨迹监督方法本质上不同，后者未能明确运行时语义。

关键设计：在模型训练中，HPD采用了特定的损失函数以平衡动作监督与运行时语义的学习，同时确保生成的目标在运行时契约下可执行。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，使用HPD训练的Qwen3-8B在TRAJECT-Bench上实现了22.98%的自主任务成功率和49.23%的运行时合规性，相较于未适配模型的3.09%和19.90%有显著提升，验证了HPD的有效性。

🎯 应用场景

该研究在智能体部署、自动化控制和机器人领域具有广泛的应用潜力。通过明确运行时语义，HPD可以提升智能体在复杂环境中的决策能力和执行效率，推动智能系统的实际应用和发展。

📄 摘要（原文）

Deploying a general-purpose model as an agent means running it inside a product-specific runtime harness that decides which actions are executable, how state advances, and when the loop may terminate. Ordinary trajectory supervision shows which action was taken but leaves the runtime semantics behind that action implicit. We introduce Harness Policy Distillation (HPD), which makes these runtime control semantics an explicit training target alongside actions to align the harness policy. HPD replays reference trajectories through the harness to recover the runtime semantics that are implicit in ordinary trajectory data, and represents them as control documents at each model-call boundary. These documents provide privileged information for a teacher to generate actions, while harness verification ensures that the resulting targets are executable under the runtime contract. We jointly train a shared model on the runtime semantics recovered from control-state privileged information and native history, thereby internalizing these semantics into the model policy. At deployment, the trained model uses the original harness interface without requiring the control document or any additional supplement. On TRAJECT-Bench with the Pi harness, Qwen3-8B trained with HPD reaches 22.98% autonomous task success and 49.23% runtime compliance, against 3.09% and 19.90% for the unadapted model. Harness-verified teacher actions substantially improve the native deployment policy, while joint control-state supervision provides further gains in task completion and runtime compliance. HPD turns executable runtime semantics into dense supervision for learning harness-compatible actions at each decision boundary.