DreamingGoose: Staged Distillation from Autoregressive Transformers to Bidirectional Recurrent Diffusion Language Models
作者: Julian Boesch, Andrew Wee, Alexander Stranzl
分类: cs.LG, cs.CL
发布日期: 2026-09-28
备注: 8 pages, 1 figure, 2 tables. Companion to arXiv:2609.16183. Code and result data at https://github.com/JIBSIL/dualgoose
💡 一句话要点
提出DreamingGoose以实现自回归变换器到双向扩散语言模型的蒸馏
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模型蒸馏 自回归变换器 双向扩散模型 信息检索 语言建模 课程学习 计算效率
📋 核心要点
- 现有的模型转换方法仅通过改变架构或目标来重用自回归变换器的计算投资，无法同时兼顾两者。
- 本文提出的DreamingGoose方法通过三个阶段的蒸馏，将教师模型转化为无注意力的双向扩散模型，能够追踪每个能力的变化。
- 实验结果显示，教师模型在多查询检索任务中的得分为0.34-0.58，而转换后的学生模型得分为0.000，检索能力的恢复依赖于特定的课程设计。
📝 摘要（中文）
预训练的自回归变换器在计算上投入巨大，现有转换方法仅通过改变架构或目标来重用这些投资，而本文提出的DreamingGoose方法则在三个阶段中同时改变架构和目标，将Qwen3教师模型转化为无注意力的双向扩散学生模型。实验表明，语言建模的迁移效果有限，检索能力的恢复依赖于逐步扩展的检索课程，且在固定预算下，模型的学习效果存在随机性和种子依赖性。最终，研究展示了在真实文本上有效的检索能力恢复。
🔬 方法详解
问题定义：本文旨在解决如何有效地将自回归变换器模型转换为双向扩散语言模型的问题。现有方法在架构和目标上只能选择其一，导致计算资源的浪费和能力的损失。
核心思路：论文提出的DreamingGoose方法通过三个阶段的蒸馏，既改变模型架构（从注意力机制到递归机制），又改变训练目标（从下一个标记预测到去噪），以实现更全面的能力迁移。
技术框架：整体架构分为三个阶段：第一阶段进行初步的模型转换，第二阶段专注于去噪训练，第三阶段引入检索课程，逐步扩展查询与键值表之间的间隔。每个阶段的设计都旨在追踪能力的变化。
关键创新：最重要的创新在于同时改变模型的架构和训练目标，使得能力的迁移和损失可以被清晰地追踪和分析。这种方法与现有的单一维度转换方法本质上不同。
关键设计：在检索课程的设计中，逐步增加查询与键值表的间隔，确保模型在固定预算内能够有效学习检索能力。此外，实验中发现模型的学习效果受种子依赖性影响，固定的训练预算可能导致学习中断。
🖼️ 关键图片
📊 实验亮点
实验结果显示，教师模型在多查询检索任务中的得分为0.34-0.58，而转换后的学生模型得分为0.000，表明检索能力的恢复存在显著挑战。通过逐步扩展查询与键值表的间隔，部分模型在真实文本上成功恢复了检索能力，展示了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和信息检索等。通过有效的模型蒸馏和能力迁移，DreamingGoose可以帮助开发更高效的语言模型，降低计算成本，同时提升模型在特定任务上的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Pretrained autoregressive Transformers represent a large sunk investment in compute. Existing conversion methods reuse that investment by changing either the architecture (attention to recurrence) or the objective (next-token prediction to denoising), never both. We convert Qwen3 teachers at 1.7B and 8B into attention-free, bidirectional, gated-delta-rule diffusion students in three stages, so that each capability can be traced to the stage that kept or lost it. Language modeling transfers only partially and in-distribution; in-context retrieval does not transfer. On a multi-query recall probe where the teachers score 0.34-0.58, both converted students score 0.000, and diffusion pretraining alone does not restore retrieval. A retrieval curriculum in the final stage, which gradually lengthens the gap between a key-value table and the queries that address it, restores it only stochastically: on a fixed schedule, one seed in three learns to retrieve. Advancing the gap only while a running accuracy estimate stays above a threshold works for all three of those seeds, holds on real text, and carries unchanged to 8B, where two of three seeds succeed. The third had not learned within its fixed 16k-step budget: retrieval switches on abruptly at a seed-dependent step (6.5k and 11k in the other two), so a fixed budget can cut a late run off. One boundary survives every intervention: every model that learns retrieval scores 0.000 on tokens that never appeared in a retrieval episode, and an arm that resamples the key and value tokens every batch shows this is a coverage limit, not memorization of particular bindings. Separately, we convert a 7B code model into a 3:1 recurrent-attention block-diffusion hybrid over 85k steps and report two negative training results.