Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws

📄 arXiv: 2505.06699v3 📥 PDF

作者: Xiyuan Wei, Ming Lin, Fanjiang Ye, Fengguang Song, Liangliang Cao, My T. Thai, Tianbao Yang

分类: cs.LG, cs.AI, cs.CV, stat.ML

发布日期: 2025-05-10 (更新: 2025-05-17)

备注: 18 pages, 6 figures

💡 一句话要点

提出DRRho风险最小化模型指导框架，提升泛化能力与数据效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型指导 分布鲁棒优化 对比学习 CLIP 泛化能力 数据效率 预训练模型

📋 核心要点

  1. 现有模型指导方法缺乏理论基础，导致性能提升有限，阻碍了其在大型模型训练中的应用。
  2. 提出基于分布鲁棒优化（DRO）的DRRho风险最小化框架，为模型指导提供理论支撑，提升泛化能力。
  3. 实验表明，DRRho-CLIP在缩放规律上优于传统CLIP，验证了理论分析，并超越了现有启发式方法。

📝 摘要（中文）

本文形式化了一种新兴的学习范式，即“模型指导”，它使用一个已训练的模型作为参考，通过策略性的数据选择或加权来指导和增强目标模型的训练。尽管一些特别的方法已经在各种场景中使用，包括大型基础模型的训练，但其基本原理仍然不够明确，导致性能欠佳。本文提出了一个理论驱动的模型指导框架，称为DRRho风险最小化（DRRho risk minimization），它植根于分布鲁棒优化（DRO）。通过泛化分析，我们提供了理论见解，解释了为什么这种方法相比于没有参考模型的训练，能够提高泛化能力和数据效率。据我们所知，这是首次为这种新的学习范式提供理论见解，显著增强了我们对模型指导的理解和实践。基于这些见解以及对比学习和DRO之间的联系，我们为带有参考模型的对比语言-图像预训练（CLIP）引入了一种新方法，称为DRRho-CLIP。大量的实验验证了理论见解，揭示了相比于没有参考模型的CLIP，其具有更优越的缩放规律，并证明了其优于现有的启发式方法。

🔬 方法详解

问题定义：论文旨在解决模型指导（Model Steering）中缺乏理论基础，导致泛化能力和数据效率受限的问题。现有的模型指导方法通常是启发式的，缺乏严谨的理论分析，难以保证在各种场景下的有效性，尤其是在训练大型模型时，容易出现性能瓶颈。

核心思路：论文的核心思路是将模型指导问题形式化为分布鲁棒优化（DRO）问题，并提出DRRho风险最小化框架。通过引入参考模型，并利用DRO的思想，使得目标模型在训练过程中能够抵抗数据分布的扰动，从而提高泛化能力和数据效率。这样设计的目的是为了让目标模型能够更好地学习参考模型的知识，同时避免过拟合训练数据中的噪声。

技术框架：DRRho风险最小化框架主要包含以下几个阶段：1) 参考模型选择：选择一个预训练好的模型作为参考模型。2) 数据加权/选择：根据参考模型对数据的预测结果，对训练数据进行加权或选择，使得目标模型更加关注参考模型认为重要的样本。3) DRRho风险最小化：使用DRRho风险最小化目标函数训练目标模型，该目标函数考虑了数据分布的扰动，并鼓励目标模型与参考模型保持一致。4) 模型评估：评估目标模型的泛化能力和数据效率。

关键创新：论文最重要的技术创新点在于将模型指导问题与分布鲁棒优化（DRO）联系起来，并提出了DRRho风险最小化框架。与现有方法相比，该框架具有更强的理论支撑，能够更好地解释模型指导的有效性，并指导模型的设计和训练。此外，DRRho-CLIP的提出，将该框架成功应用于对比语言-图像预训练（CLIP）任务，并取得了显著的性能提升。

关键设计：DRRho风险最小化目标函数是关键设计之一，其形式如下：$\min_{\theta} \max_{P \in \mathcal{P}} \mathbb{E}{x \sim P} [\ell(f{\theta}(x), y)] + \rho d(P, P_0)$，其中$\theta$是目标模型的参数，$P$是数据分布，$P_0$是原始数据分布，$\ell$是损失函数，$f_{\theta}(x)$是目标模型的预测结果，$d(P, P_0)$是分布之间的距离度量，$\rho$是鲁棒性参数。此外，DRRho-CLIP在CLIP的基础上，引入了参考模型，并使用对比学习的方式训练目标模型，鼓励目标模型的图像和文本表示与参考模型保持一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DRRho-CLIP在ImageNet上的zero-shot分类精度显著优于传统的CLIP模型，并且在相同的训练数据量下，DRRho-CLIP能够达到更高的性能。此外，DRRho-CLIP还表现出更优越的缩放规律，即随着训练数据量的增加，其性能提升更加明显。例如，在使用了较少数据的情况下，DRRho-CLIP的性能已经超过了使用更多数据的传统CLIP模型。

🎯 应用场景

该研究成果可广泛应用于各种机器学习任务中，尤其是在数据量有限或数据质量不高的情况下，利用预训练模型作为参考，可以显著提高目标模型的性能。例如，在医疗图像分析、自动驾驶、自然语言处理等领域，可以利用该方法训练更加鲁棒和泛化的模型。此外，该方法还可以用于知识蒸馏，将大型模型的知识迁移到小型模型中，提高小型模型的性能。

📄 摘要（原文）

This paper formalizes an emerging learning paradigm that uses a trained model as a reference to guide and enhance the training of a target model through strategic data selection or weighting, named $\textbf{model steering}$. While ad-hoc methods have been used in various contexts, including the training of large foundation models, its underlying principles remain insufficiently understood, leading to sub-optimal performance. In this work, we propose a theory-driven framework for model steering called $\textbf{DRRho risk minimization}$, which is rooted in Distributionally Robust Optimization (DRO). Through a generalization analysis, we provide theoretical insights into why this approach improves generalization and data efficiency compared to training without a reference model. To the best of our knowledge, this is the first time such theoretical insights are provided for the new learning paradigm, which significantly enhance our understanding and practice of model steering. Building on these insights and the connection between contrastive learning and DRO, we introduce a novel method for Contrastive Language-Image Pretraining (CLIP) with a reference model, termed DRRho-CLIP. Extensive experiments validate the theoretical insights, reveal a superior scaling law compared to CLIP without a reference model, and demonstrate its strength over existing heuristic approaches.