ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training

📄 arXiv: 2609.16639v1 📥 PDF

作者: Zhihao Zhang, Mingqi Wu, Qiaole Dong, Enyu Zhou, Shuo Li, Boyang Liu, Jiazheng Zhang, Honglin Guo, Xin Guo, Shaofan Liu, Junzhe Wang, Dingwei Zhu, Zhiheng Xi, Minlong Peng, Yuan Hua, Qi Zhang, Tao Gui, Xuanjing Huang

分类: cs.AI

发布日期: 2026-09-15

备注: 37pages, preprint

💡 一句话要点

提出ReDraft以解决持续后训练中的能力保持与遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 多模态模型 后训练 知识保持 模型修订 性能提升 人工智能

📋 核心要点

  1. 现有的后训练方法在添加新能力时容易导致模型遗忘先前的知识，尤其是在任务难度较高时。
  2. ReDraft通过参考专家的响应来修正模型的错误输出，确保修订内容与当前政策保持接近，从而实现能力的提升与遗忘的减少。
  3. 在多个任务上，ReDraft相较于SFT在目标任务上提升了56.9分，并将先前任务的损失从16.6降至1.5，表现出显著的改进。

📝 摘要（中文）

持续后训练大型多模态模型应在保留预训练能力的同时添加新能力，但这两个目标相互矛盾。现有的SFT方法虽然提供明确的目标监督，但由于其离政策目标过远，导致模型遗忘。而基于策略的方法如RLVR和自蒸馏虽然能保持政策接近性，但在任务尚未解决时提供的信号有限。本文提出ReDraft（基于参考的修订与微调），通过模型自身的失败进行修订，使用专家响应作为参考，修正模型的错误输出，只有在验证者接受时才保留修订，并在保留的内容上进行微调。实验表明，ReDraft在多个任务上显著提高了性能，同时减少了遗忘现象。

🔬 方法详解

问题定义：本文旨在解决大型多模态模型在持续后训练中添加新能力时容易遗忘先前知识的问题。现有方法如SFT虽然提供明确的目标，但因目标过远导致遗忘，而基于策略的方法在任务未解决时信号不足。

核心思路：ReDraft的核心思路是利用模型自身的失败进行修订，通过参考专家的响应来修正错误输出，确保修订内容与当前政策接近，从而实现能力提升与遗忘减少的双重目标。

技术框架：ReDraft的整体架构包括三个主要模块：错误输出修订、验证者接受机制和基于保留内容的微调。模型首先生成输出，然后与专家响应进行对比，修订后由验证者判断是否保留，最后在保留的内容上进行微调。

关键创新：ReDraft的创新在于通过修复模型自身输出而非直接替换为专家的输出，使得模型在学习新任务时能够更好地保持已有知识。这一方法与传统的蒸馏训练方法本质上不同，后者通常依赖于外部专家的输出。

关键设计：在设计上，ReDraft采用了特定的损失函数来衡量修订内容的有效性，并设置了验证者的标准以确保修订的质量。此外，模型的参数更新保持紧凑，确保与SFT的方向一致，避免过度偏离。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ReDraft在多个任务上表现优异，目标任务的得分提升至56.9分，相较于SFT的52.9分有显著提高。同时，先前任务的损失从16.6降至1.5，减少了11.3倍的遗忘现象，展现了其在保持知识与学习新任务方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、图像识别和机器人控制等多模态任务。通过有效地保持和提升模型能力，ReDraft可以在实际应用中提高系统的智能化水平，尤其是在需要持续学习和适应新环境的场景中。未来，该方法可能推动更高效的模型训练策略和更智能的人工智能系统的开发。

📄 摘要（原文）

Continual post-training of large multimodal models should add new capabilities while preserving those from pre-training, and the two goals pull in opposite directions. SFT gives explicit target supervision that learns a task from near-zero accuracy, but its off-policy targets move the model far enough to cause forgetting; on-policy methods such as RLVR and self-distillation preserve policy proximity yet supply little signal when the policy cannot yet solve the task. We introduce ReDraft (Reference-Driven Revision and Fine-Tuning), which obtains both from the model's own failures: using an expert response only as a reference, it has the model revise its own incorrect rollout, keeps the revision only if a verifier accepts it, and fine-tunes on what survives. Each retained target is therefore explicit, yet still close to the current policy. Across Counting, Clock Reading, and Jigsaw on Qwen2.5-VL-3B/7B, two of them with near zero accuracy, ReDraft gains 56.9 points on the target task against SFT's 52.9 while cutting prior-task loss from 16.6 to 1.5 points (11.3x less forgetting), and improves on OPSD along both axes (19.3 gain, 6.2 loss). Data- and parameter-space analyses match the design: revised targets are more probable under the base model, and the updates they induce stay compact and follow SFT's direction more closely than OPSD's. Repairing the model's own output, rather than replacing it with an expert's, is what lets one objective do both.