Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following

📄 arXiv: 2609.27421v1 📥 PDF

作者: Yanzhao Zheng, Yuanqiang Yu, Tianze Xu, Chao Ma, Zhentao Zhang, Jihuai Zhu, Baohua Dong, Hangcheng Zhu, Ruohui Huang

分类: cs.LG, stat.ML

发布日期: 2026-09-23

💡 一句话要点

提出CC-OPD以解决多约束指令跟随问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多约束指令跟随 反事实学习 在政策蒸馏 模型蒸馏 强化学习

📋 核心要点

  1. 现有方法在多约束指令跟随中常常无法有效处理多个同时激活的约束，导致模型输出不符合要求。
  2. CC-OPD通过反转传统的监督生成方向，逐个消除教师的约束，从而构建每个约束的信号，提升了蒸馏效果。
  3. 在两个Qwen模型对和七个基准测试中，CC-OPD在所有评估的学生训练方法中取得了最高的平均成绩。

📝 摘要（中文）

多约束指令跟随要求模型在多个同时激活的约束下响应查询。即使是强大的指令调优模型也常常违反某些约束。现有方法通过外部验证者或学习的评分器增强监督，或使用单一全上下文教师进行的在政策蒸馏（OPD）。本文提出CC-OPD（反事实约束条件下的在政策蒸馏），其通过逐个消除教师的约束，构建每个约束的信号，从而改进了蒸馏过程。实验表明，CC-OPD在多个基准测试中表现优异，1.5B的学生模型在MulDimIF基准上超越了其7B的RL训练教师。

🔬 方法详解

问题定义：本文旨在解决多约束指令跟随中的模型输出不符合约束的问题。现有方法依赖于外部验证者或单一教师模型，难以有效处理多个约束同时存在的情况。

核心思路：CC-OPD的核心思路是通过反转传统的监督生成方向，逐个消除教师模型的约束，构建每个约束的信号。这种设计使得模型能够更好地理解和响应每个约束。

技术框架：CC-OPD的整体架构包括教师模型和学生模型的交互过程。教师模型在蒸馏过程中保持冻结状态，逐个消除约束并计算每个约束的信号，最终将这些信号与传统的OPD奖励结合。

关键创新：CC-OPD的主要创新在于其反事实的约束条件处理方式，与现有方法相比，能够更有效地从教师模型中提取有用信息，避免了信息稀释的问题。

关键设计：在设计中，关键参数包括教师模型的冻结状态和每个约束的逐个消除策略。损失函数结合了传统的OPD奖励和新构建的约束信号，确保了模型训练的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

CC-OPD在多个基准测试中表现优异，尤其是在MulDimIF基准上，1.5B的学生模型超越了其7B的RL训练教师，显示出显著的性能提升，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和机器人导航等场景，能够有效提升模型在复杂环境下的指令理解和执行能力。未来，该方法有望在多模态交互和人机协作中发挥重要作用。

📄 摘要（原文）

Multi-constraint instruction following requires a model to respond to a query under many simultaneously active constraints. Even strong instruction-tuned models still routinely violate some of them. Existing approaches either augment supervision with sequence- or token-level RL rewards from external verifiers or learned graders, or use on-policy distillation (OPD) against a single full-context teacher whose probability mass becomes diluted as more constraints become simultaneously active. We propose CC-OPD (Counterfactual Constraint-Conditioned On-Policy Distillation), which inverts the standard supervision-generation direction in distillation. Rather than enriching the teacher with information beyond what the student sees, CC-OPD ablates each constraint from the teacher's conditioning in turn, and constructs the per-constraint signal from the resulting per-token probability differentials. The resulting per-token leave-one-out log-likelihood shifts are summed, clipped, and added to the vanilla OPD reward as a token-level shaping term. All shaping terms are obtained from the frozen teacher, without an external verifier during distillation, and the reward equals vanilla OPD wherever the aggregate shift is zero. Across two Qwen model pairs and seven benchmarks, CC-OPD achieves the highest average among all evaluated student-training methods. A 1.5B student trained with CC-OPD surpasses its own 7B RL-trained teacher on the MulDimIF benchmark.