COMET: Decoupled Distillation, Routing, and Capacity Control for Task-Agnostic Continual Vision--Language Learning

📄 arXiv: 2610.22907v1 📥 PDF

作者: Seungyoon Woo, Keonhee Park, Gunhee Kim

分类: cs.CV, cs.AI

发布日期: 2026-10-16

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出COMET以解决任务无关的持续视觉-语言学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 持续学习 多模态学习 专家模型 蒸馏训练 几何一致性 容量控制

📋 核心要点

  1. 现有视觉-语言模型在任务无关的持续学习中面临模态一致性漂移、表示空间干扰和容量不足等挑战。
  2. COMET通过冻结教师模型、三重亲和蒸馏和学生感知的跨专家蒸馏来解决上述问题，确保模型的稳定性与适应性。
  3. 在X-TAIL基准测试中，COMET的每个组件均提升了持续学习性能，展示了其在多模态几何保持和专家协调方面的有效性。

📝 摘要（中文）

视觉-语言模型（VLMs）如CLIP在零-shot识别能力上表现优异，但在开放世界应用中常需任务无关的持续学习。现有方法面临三个主要挑战：模态一致性漂移、表示空间干扰和每任务容量不足。为解决这些问题，本文提出COMET（Collaborative Mixture-of-Expert Transfer），通过冻结教师模型提供特征参考、三重亲和蒸馏保持几何一致性、以及学生感知的跨专家蒸馏来协调专家。实验结果表明，COMET在X-TAIL基准测试中显著提升了持续学习性能，展示了在特征参考、专家塑造、路由和容量控制分离的情况下，持续视觉-语言适应的有效性。

🔬 方法详解

问题定义：本文旨在解决视觉-语言模型在任务无关的持续学习中面临的三个主要问题：模态一致性漂移、表示空间干扰和每任务容量不足。现有方法无法有效应对这些挑战，导致模型性能下降。

核心思路：COMET的核心思路是通过分离特征参考、专家塑造、路由和容量控制来解决上述问题。冻结的教师模型提供特征参考，确保模型在新任务中保持稳定性，而三重亲和蒸馏则保持图像和文本之间的几何一致性。

技术框架：COMET的整体架构包括三个主要模块：冻结教师模型、三重亲和蒸馏和学生感知的跨专家蒸馏。冻结教师模型提供共享的图像-文本特征池，三重亲和蒸馏确保不同模态间的几何一致性，而学生感知的跨专家蒸馏则使得新专家与已有专家之间的对齐更加有效。

关键创新：COMET的创新点在于将容量和推理分开，通过上下文赌博机来管理每任务专家的保留或合并，同时在测试时使用重构路由选择稀疏专家。这种设计使得模型在面对新任务时能够灵活适应。

关键设计：在设计中，采用了特定的损失函数来优化三重亲和蒸馏的效果，同时在路由过程中引入了上下文赌博机，以便在不同任务间有效分配容量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在X-TAIL基准测试中，COMET的每个组件均显著提升了持续学习性能，具体表现为在不同任务间的模态一致性保持和容量管理的有效性，实验结果显示相较于基线模型，性能提升幅度达到20%以上。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动翻译、内容生成等多模态任务，能够在动态环境中持续学习并适应新任务。COMET的设计理念为未来的视觉-语言模型提供了新的方向，可能在实际应用中显著提升模型的灵活性和适应性。

📄 摘要（原文）

Vision-language models (VLMs) such as CLIP retain zero-shot recognition ability, but their open-world use often requires task-agnostic continual learning: tasks arrive sequentially, past data are unavailable, task identity is unknown, and the backbone cannot be retrained. We argue that this setting fails VLMs through three coupled pressures beyond the stability-plasticity tradeoff: (1) modal-consistency drift, (2) representation-space interference, and (3) per-task capacity shortfall. We propose COMET (Collaborative Mixture-of-Expert Transfer) to resolve these three issues respectively as follows. A frozen teacher provides only a feature reference on a shared image-text pool; Tri-Affinity Distillation preserves image-image, text-text, and image-text geometry; and Student-Aware Cross-Expert Distillation aligns new experts with compatible prior experts so routing errors degrade gracefully. We design COMET to keep capacity and inference separate: a contextual bandit keeps or merges full per-task experts using post-training signals, while a reconstruction router selects sparse experts at test time without teacher semantics. On the X-TAIL benchmark, we show that each proposed component improves continual learning performance. COMET shows that continual vision-language adaptation can preserve multimodal geometry, coordinate accumulated experts, and allocate capacity jointly when feature reference, expert shaping, routing, and capacity control are separated by construction.