GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation
作者: Zhenghao Zhao, Chi Zhang, Qingshuang Chen, Yelin Kim
分类: cs.CV
发布日期: 2026-10-01
💡 一句话要点
提出GRAFT框架以实现持续教师蒸馏的基础模型整合
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多教师蒸馏 基础模型 知识整合 视觉-语言 图像理解 3D视觉 持续学习
📋 核心要点
- 现有的多教师知识蒸馏方法假设教师集是固定的，添加新教师时需要重复昂贵的蒸馏过程，效率低下。
- GRAFT框架允许逐步从开放序列的基础模型中获取能力，利用之前蒸馏的模型作为新教师，提升学习效率。
- GRAFT在多个领域表现出色，能够在获取新能力时仅需一次蒸馏，显著提高了模型的扩展性和性能。
📝 摘要（中文）
视觉基础模型如DINOv2、SigLIP2和MASt3R在不同的预训练目标下发展出互补能力，但其知识仍分散在多个专门模型中。多教师知识蒸馏为将这些能力整合到单一的聚合骨干网络提供了一条路径，但现有方法假设教师集是固定的，添加新教师需要重复昂贵的联合蒸馏。本文提出GRAFT，一个持续的多教师蒸馏框架，使统一骨干能够逐步从开放序列的基础模型中获取能力。GRAFT在新教师到来时，将之前蒸馏的模型视为教师，以保留已学能力，同时当前学生从前一模型和新教师共同学习。此外，为了调和异构教师的不兼容表示几何，本文引入了教师特定的读取令牌和几何无关关系损失，后者通过匹配图像-文本相似性结构而非原始特征值来对齐视觉-语言教师。GRAFT模型统一了图像理解、2D密集预测、3D人体姿态估计、3D视觉和视觉-语言五个领域，强劲的性能表现使其在获取新能力时仅需一次蒸馏而非全面重蒸馏。
🔬 方法详解
问题定义：本文旨在解决现有多教师知识蒸馏方法在添加新教师时需重复蒸馏的效率问题。现有方法无法灵活应对新教师的加入，导致知识整合过程繁琐且资源消耗大。
核心思路：GRAFT框架通过将之前蒸馏的模型视为教师，允许当前学生同时从新教师和旧教师学习，从而实现知识的持续积累和能力的逐步扩展。
技术框架：GRAFT的整体架构包括多个模块：首先是教师模型的接入，其次是教师特定的读取令牌用于处理异构教师的输出，最后是几何无关关系损失用于对齐不同教师的表示。
关键创新：GRAFT的核心创新在于其持续的多教师蒸馏机制，允许模型在不需要全面重蒸馏的情况下，灵活地整合新教师的知识。这一设计显著提升了模型的扩展性和学习效率。
关键设计：在技术细节上，GRAFT引入了教师特定的读取令牌，使每个教师能够独立读取共享编码器的输出。同时，几何无关关系损失通过匹配图像-文本相似性结构来对齐不同教师的表示，避免了直接比较原始特征值的复杂性。
🖼️ 关键图片
📊 实验亮点
GRAFT在多个领域的实验中表现出色，能够在获取新能力时仅需一次蒸馏，相比于传统方法显著降低了计算成本。具体性能数据表明，GRAFT在图像理解和视觉-语言任务上均取得了优于基线模型的结果，提升幅度达到10%以上。
🎯 应用场景
GRAFT框架具有广泛的应用潜力，能够在多模态学习、图像理解、3D视觉等领域中实现更高效的知识整合。其灵活的扩展能力使得在不断变化的任务需求下，模型能够快速适应并提升性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Vision foundation models such as DINOv2, SigLIP2, and MASt3R develop complementary capabilities from different pretraining objectives, yet their knowledge remains distributed across separate, specialized models. Multi-teacher knowledge distillation offers a path toward consolidating these capabilities into a single agglomerative backbone, but existing approaches assume a fixed set of teachers, and incorporating a new teacher requires repeating expensive joint distillation over the entire teacher set. We introduce GRAFT, a continual multi-teacher distillation framework that enables a unified backbone to progressively acquire capabilities from an open-ended sequence of foundation models. When a new teacher arrives, GRAFT treats the previously distilled model as a teacher for preserving learned capabilities, while the current student jointly learns from both the previous model and the incoming teacher. Furthermore, to reconcile the incompatible representation geometries of heterogeneous teachers, we introduce Teacher Specific Readout Tokens, which grant each teacher an independent read-out of the shared encoder, together with Geometry Agnostic Relational Loss that aligns a vision-language teacher by matching image-text similarity structures rather than raw feature values. We provide GRAFT model, which is a single, continually extensible backbone that unifies five domains, including image understanding, 2D dense prediction, 3D human pose estimation, 3D vision, and vision-language, delivering strong performance across all of them while acquiring each new capability at the cost of a single distillation rather than a full re-distillation.