AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation

📄 arXiv: 2609.38142v1 📥 PDF

作者: Rishabh Agrawal, Hejie Cui, Shasha Li, Shanchan Wu, Sercan Ö. Arık

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出AdviSD以优化前沿大语言模型的建议能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 顾问模型 自蒸馏 强化学习 语言模型 反馈机制 迁移学习 智能决策

📋 核心要点

  1. 现有方法在顾问模型的学习过程中，容易受到不必要的修正影响，导致性能下降。
  2. 论文提出的AdviSD方法通过选择性自蒸馏和反馈条件学习，优化顾问的建议质量。
  3. 实验结果表明，AdviSD在多个基准测试中超越了传统方法，提升幅度达到4.2-6.4个百分点。

📝 摘要（中文）

本文提出了一种小型可训练的顾问模型，能够通过自然语言建议来引导一个冻结的语言模型执行器。顾问不仅从任务奖励中学习，还能利用完成交互后的反馈来改进建议。研究表明，合理的修正不一定会改变执行结果，但学习这些修正仍能影响顾问在其他上下文中的决策。通过引入顾问自蒸馏（AdviSD）方法，结合基于结果的强化学习与选择性自蒸馏，显著提升了顾问的表现。实验结果显示，AdviSD在多个基准测试中超越了现有方法，并且训练后的顾问能够在不同任务和模型版本间有效迁移。

🔬 方法详解

问题定义：本文旨在解决顾问模型在学习过程中受到不必要修正影响的问题，现有方法未能有效区分有用与无用的反馈，导致学习效率低下。

核心思路：AdviSD方法结合了基于结果的强化学习与自蒸馏，通过选择性地从反馈条件副本中学习，优化顾问的建议质量，避免无效修正的干扰。

技术框架：该方法的整体架构包括顾问模型、执行器和反馈机制。顾问通过反思生成修正，并对执行器的响应进行评分，选择性地进行监督学习。

关键创新：最重要的创新在于引入了选择性自蒸馏机制，允许顾问在不依赖执行器的概率分布或额外的执行器回滚的情况下进行有效学习，显著提高了模型的最终性能。

关键设计：在参数设置上，顾问模型的反馈条件副本用于生成修正，损失函数设计为关注修正前后执行器响应的差异，以此来选择监督决策。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，AdviSD在BFCL-v3基准测试中比顾问-GRPO方法提升了4.2-6.4个百分点，在EnvScaler上提升了3.9-5.1分，且训练后的顾问能够有效迁移到不同任务和模型版本，验证了其选择规则的有效性。

🎯 应用场景

AdviSD方法在大语言模型的训练和优化中具有广泛的应用潜力，尤其是在需要高效决策支持的领域，如智能客服、自动化内容生成和人机交互系统。其自蒸馏机制能够有效提升模型的适应性和迁移能力，未来可在多种任务中实现更好的性能。

📄 摘要（原文）

A small trainable advisor can steer a frozen language-model executor using natural-language advice. In addition to learning from task rewards, the advisor can use feedback from completed interactions to improve its advice. However, a plausible correction need not change execution, yet learning from such corrections can still affect the advisor's future decisions in other contexts. In a shared-parameter model, we prove that such corrections can limit learning if their targets favor useful advice less strongly than those of other corrections. Keeping them less often than the rest improves the model's eventual performance compared to learning from every correction. Motivated by this, our method, Advisor Self-Distillation (AdviSD), pairs outcome-based reinforcement learning with self-distillation from a feedback-conditioned copy of the advisor selectively. Reflection proposes corrections, and the advisor scores the same recorded executor response with and without its issued advice, using the magnitude of the difference to select decisions for supervision. This approach does not require executor likelihoods or additional executor rollouts. Experiments with Qwen3-8B advisors for Gemini and Claude show that AdviSD outperforms advisor-GRPO by 4.2-6.4 percentage points on BFCL-v3 and by 3.9-5.1 score points on EnvScaler. The trained advisors generalize to out-of-domain tasks and transfer across different executor versions and model families. AdviSD also beats matched-count random selection, supporting the value of its selection rule.