Dataset Distillation via Vision-Language Category Prototype
作者: Yawen Zou, Guang Li, Duo Su, Zi Wang, Jun Yu, Chao Zhang
分类: cs.CV
发布日期: 2025-06-30
备注: accepted by ICCV2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出视觉-语言类别原型的蒸馏方法以提升数据集蒸馏性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据集蒸馏 视觉-语言融合 多模态学习 语义信息 图像生成
📋 核心要点
- 现有的数据集蒸馏方法主要关注图像信息，忽视了语义信息，导致模型泛化能力不足。
- 本研究通过引入文本原型，结合视觉-语言方法，增强了数据集蒸馏的效果和逻辑一致性。
- 实验结果表明，所提方法在验证性能上达到最先进水平，显示出强大的泛化能力。
📝 摘要（中文）
数据集蒸馏（DD）旨在将大型数据集浓缩为紧凑且信息丰富的替代品，保持与原始数据集相当的性能，同时降低存储、传输成本和计算消耗。然而，现有的DD方法主要集中于从图像中提取信息，往往忽视数据中固有的语义信息。这种对上下文的忽视限制了模型的泛化能力，尤其是在涉及复杂数据集的任务中，可能导致不合逻辑的输出或关键对象的遗漏。本研究通过引入文本原型，将视觉-语言方法整合到DD中，以蒸馏语言信息并与图像原型协同合成数据，从而提升数据集蒸馏性能。值得注意的是，本研究中使用的文本原型源自开源大型语言模型生成的描述性文本信息。该框架在没有预先存在文本描述的数据集上展示了广泛的适用性，扩展了数据集蒸馏的潜力。
🔬 方法详解
问题定义：本论文旨在解决现有数据集蒸馏方法忽视语义信息的问题，导致模型在复杂任务中的泛化能力不足。
核心思路：通过引入文本原型，结合图像原型进行数据合成，利用语言信息提升数据集蒸馏的效果。这样的设计使得生成的数据在逻辑上更加一致，能够更好地反映目标对象。
技术框架：整体架构包括文本原型生成模块和图像原型合成模块。文本原型通过开源大型语言模型生成，而图像原型则通过传统的图像处理技术进行提取和合成。
关键创新：最重要的创新在于将视觉-语言方法引入数据集蒸馏，利用文本信息来增强图像生成的逻辑一致性，这与以往仅依赖图像信息的蒸馏方法有本质区别。
关键设计：在参数设置上，采用了适应性损失函数以平衡图像和文本信息的贡献，同时在网络结构上，结合了卷积神经网络和语言模型的特征提取能力。
📊 实验亮点
实验结果显示，所提方法在生成逻辑一致的图像方面表现优异，验证性能达到最先进水平，相较于传统方法提升幅度显著，具体数据未详述。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提升数据集蒸馏的性能，可以在资源受限的环境中实现高效的模型训练，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Dataset distillation (DD) condenses large datasets into compact yet informative substitutes, preserving performance comparable to the original dataset while reducing storage, transmission costs, and computational consumption. However, previous DD methods mainly focus on distilling information from images, often overlooking the semantic information inherent in the data. The disregard for context hinders the model's generalization ability, particularly in tasks involving complex datasets, which may result in illogical outputs or the omission of critical objects. In this study, we integrate vision-language methods into DD by introducing text prototypes to distill language information and collaboratively synthesize data with image prototypes, thereby enhancing dataset distillation performance. Notably, the text prototypes utilized in this study are derived from descriptive text information generated by an open-source large language model. This framework demonstrates broad applicability across datasets without pre-existing text descriptions, expanding the potential of dataset distillation beyond traditional image-based approaches. Compared to other methods, the proposed approach generates logically coherent images containing target objects, achieving state-of-the-art validation performance and demonstrating robust generalization. Source code and generated data are available in https://github.com/zou-yawen/Dataset-Distillation-via-Vision-Language-Category-Prototype/