From Images to Words: Efficient Cross-Modal Knowledge Distillation to Language Models from Black-box Teachers

📄 arXiv: 2603.10877v1 📥 PDF

作者: Ayan Sengupta, Shantanu Dixit, Md Shad Akhtar, Tanmoy Chakraborty

分类: cs.CL

发布日期: 2026-03-11

💡 一句话要点

提出ARMADA，通过高效跨模态知识蒸馏，从黑盒视觉-语言模型迁移知识到纯语言模型。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 跨模态学习 视觉-语言模型 自然语言处理 模型压缩

📋 核心要点

  1. 现有知识蒸馏方法通常要求教师模型和学生模型具有相同的模态，或者需要对多模态教师模型进行昂贵的预训练。
  2. ARMADA通过新颖的对齐技术，在不修改教师模型的前提下，将知识从视觉-语言模型迁移到纯语言模型，提升效率和可扩展性。
  3. 实验表明，ARMADA在多个自然语言理解和生成推理任务上，显著提升了DeBERTa、OPT和LLaMA等大型语言模型的性能。

📝 摘要（中文）

知识蒸馏（KD）方法在将大型预训练语言模型压缩为更小的模型方面起着关键作用，确保计算效率，而不会显著降低性能。传统的KD技术假设教师（源）和学生（目标）模型之间模态的同质性。另一方面，现有的多模态知识蒸馏方法需要对教师模型进行特定于模态的预训练，这在大多数情况下在计算上是不可行的。在本文中，我们介绍ARMADA，一个高效的跨模态知识蒸馏框架，旨在将知识从大型视觉-语言模型（包括黑盒模型）迁移到仅语言模型。与依赖于多模态教师的内部结构或需要计算成本高昂的预训练的现有KD技术不同，ARMADA利用新颖的对齐技术来提炼知识，而无需改变教师模型，从而确保效率和可扩展性。我们通过对十二个自然语言理解、八个复杂生成推理和五个指令调优任务进行实证验证ARMADA，证明了DeBERTa-v2-1.4B、OPT-1.3B、LLaMA-{3B, 7B, 8B}等大型模型的一致性能改进。ARMADA在语言理解任务上实现了高达3.4%的改进，在生成推理方面实现了2.6%的提升，所有这些都无需昂贵的多模态预训练或教师模型的微调。我们的发现挑战了传统的知识蒸馏范式，表明即使是视觉-语言模型，尽管缺乏直接的文本理解，但在适当蒸馏时也可以显著增强语言模型。

🔬 方法详解

问题定义：论文旨在解决如何将视觉-语言模型中的知识迁移到纯语言模型的问题。现有知识蒸馏方法要么要求教师和学生模型具有相同的模态，要么需要对多模态教师模型进行昂贵的预训练，这限制了视觉-语言模型知识的有效利用。

核心思路：论文的核心思路是通过跨模态对齐，将视觉-语言模型中蕴含的知识提炼出来，并迁移到纯语言模型中。这种方法避免了对教师模型进行修改或预训练，提高了知识蒸馏的效率和可扩展性。

技术框架：ARMADA框架主要包含以下几个阶段：1) 使用视觉-语言模型对输入图像生成文本描述；2) 使用生成的文本描述作为桥梁，将视觉-语言模型的知识迁移到纯语言模型；3) 利用特定的损失函数，优化纯语言模型，使其更好地学习视觉-语言模型的知识。

关键创新：ARMADA的关键创新在于其跨模态对齐方法，它允许从黑盒视觉-语言模型中提取知识，而无需访问其内部结构或进行额外的训练。这与传统的知识蒸馏方法形成了鲜明对比，后者通常需要对教师模型进行微调或修改。

关键设计：ARMADA的关键设计包括：1) 使用高质量的图像描述生成模型，确保生成的文本能够准确地表达图像的内容；2) 设计合适的损失函数，例如KL散度或交叉熵损失，以衡量学生模型和教师模型之间的差异；3) 探索不同的对齐策略，例如基于注意力机制的对齐，以更好地将视觉信息与文本信息对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ARMADA在多个自然语言理解和生成推理任务上取得了显著的性能提升。例如，在语言理解任务上，ARMADA实现了高达3.4%的性能提升；在生成推理任务上，ARMADA实现了高达2.6%的性能提升。这些结果表明，即使是视觉-语言模型，在经过适当的知识蒸馏后，也可以显著增强语言模型的性能。

🎯 应用场景

ARMADA具有广泛的应用前景，可用于提升各种自然语言处理任务的性能，例如文本分类、情感分析、机器翻译等。该方法尤其适用于资源受限的场景，可以通过知识蒸馏，将大型视觉-语言模型的知识迁移到小型语言模型中，从而在计算资源有限的设备上实现高性能的自然语言处理。

📄 摘要（原文）

Knowledge distillation (KD) methods are pivotal in compressing large pre-trained language models into smaller models, ensuring computational efficiency without significantly dropping performance. Traditional KD techniques assume homogeneity in modalities between the teacher (source) and the student (target) models. On the other hand, existing multimodal knowledge distillation methods require modality-specific pre-training of the teacher model, which is computationally infeasible in most cases. In this paper, we introduce ARMADA, an efficient cross-modal knowledge distillation framework designed to transfer knowledge from large vision-language models, including black-box models, to language-only models. Unlike existing KD techniques that rely on the internal structures of multimodal teachers or require computationally expensive pre-training, ARMADA leverages novel alignment techniques to distil knowledge without altering the teacher model, ensuring efficiency and scalability. We empirically validate ARMADA on twelve natural language understanding, eight complex generative reasoning and five instruction-tuning tasks, demonstrating consistent performance improvements in large models such as DeBERTa-v2-1.4B, OPT-1.3B, LLaMA-{3B, 7B, 8B}. ARMADA achieves up to 3.4% improvement on language understanding tasks and 2.6% boost in generative reasoning, all without requiring expensive multimodal pre-training or fine-tuning of the teacher model. Our findings challenge conventional knowledge distillation paradigms by demonstrating that even vision-language models, despite lacking direct textual understanding, can significantly enhance language models when distilled appropriately.