DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes
作者: Jiahao Xie, Zhongbin Guo, Qianle Wang, Ruiqi Lu, Dongling Xiao, Wanxuan Sun, Cheng Yang
分类: cs.CV, cs.AI
发布日期: 2026-07-27
💡 一句话要点
提出DecoupleMix以解决VLM数据构建的系统性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 数据构建 混合优化 多模态学习 系统性方法
📋 核心要点
- 现有的VLM数据构建方法主要依赖经验法则，缺乏系统性和可归因的标准，导致数据质量和比例设置不理想。
- 本文提出DecoupleMix框架，通过将数据构建解耦为类间和类内两个子问题，采用迭代搜索和凸优化方法进行数据选择。
- 实验结果显示，DecoupleMix在多个基准测试中超越了传统的经验基线，并且小规模的最优比例能够无缝迁移到大规模数据集上。
📝 摘要（中文）
随着视觉语言模型（VLM）的数据策划日益活跃，构建预训练混合数据的公共实践仍然主要依赖于经验法则。现有方法在数据质量筛选和跨领域比例设置上缺乏系统性和可归因的标准。本文将数据构建形式化为一个系统的混合优化问题，通过将混合解耦为两个正交子问题：跨能力的类间比例和类内比例，进而实现可重复的工程化。我们采用单变量迭代搜索进行类间分配，利用多维数据集评估评分质量和难度进行类内组合，并将选择问题形式化为具有多样性目标的约束凸优化。DecoupleMix框架提供了指导数据收集和可控实验验证的能力，实验结果表明该方法在性能上优于经验基线。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型（VLM）数据构建中的系统性问题，现有方法在数据质量筛选和比例设置上缺乏科学依据，导致数据集构建效率低下。
核心思路：通过将数据构建过程解耦为两个正交的子问题，分别处理类间比例和类内组合，形成系统化的混合优化框架，以提高数据收集的效率和有效性。
技术框架：整体框架包括两个主要模块：类间比例的单变量迭代搜索和类内组合的多维评估。类间比例通过迭代优化确定，而类内组合则通过约束凸优化实现多样性目标的选择。
关键创新：DecoupleMix的创新在于将数据构建问题系统化，采用解耦策略使得数据选择过程更加科学和可控，与传统经验法则相比，提供了更高的可重复性和可归因性。
关键设计：在类间比例的设置中，采用单变量迭代搜索方法；在类内组合中，设计了多维数据集评估标准，考虑质量和难度，并通过约束凸优化实现目标选择。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DecoupleMix在多个基准测试中均超越了传统的经验基线，且在使用80B额外的多模态继续预训练标记后，其VLM模型在性能上与强大的开源模型相竞争，显示出显著的提升。
🎯 应用场景
该研究的潜在应用领域包括视觉语言模型的预训练数据构建、数据集优化和机器学习模型的性能提升。通过提供系统化的数据构建方法，DecoupleMix能够帮助研究人员和工程师更有效地收集和验证数据，从而推动多模态学习的进步。
📄 摘要（原文）
While data curation for Vision Language Models (VLMs) is increasingly active, public practice for constructing pretraining mixtures remains largely heuristic: practitioners stack datasets that pass quality filters, set cross-domain ratios by intuition, and lack a principled, attributable criterion for admitting new data, while frontier recipes remain undisclosed. We formulate data construction as a systematic mixture-optimization problem and turn it into a reproducible engineering discipline by decoupling the mixture into two orthogonal sub-problems: inter-class ratios across capabilities and intra-class ratios within a category. For inter-class allocation, we use a single-variable iterative search; for intra-class composition, we apply a multidimensional, dataset-level assessment scoring Quality and Difficulty, and formulate selection as a constrained convex optimization with a diversity objective. The DecoupleMix framework delivers two critical capabilities: guiding what data to collect next and rendering dataset validation a controlled, attributable experiment. Experiments show our approach consistently surpasses heuristic baselines. Moreover, optimal ratios discovered on small-scale proxies transfer seamlessly to larger scales without retuning. Using 80B additional multimodal continue-pretraining tokens, our VLM is competitive with strong open-source models trained with substantially larger multimodal budgets.