Predictable Scaling: Efficient Model Exploration via Scaling-Law Prediction
作者: Aishwarya Wesanekar, Sheng-Tao Yang, Jiawei Zhang, Flavio Sales Truzzi, Chen Chen, Nader Beigiparast, Shengyuan Huang, Roshanak Zilouchian Moghaddam, Vitor Cid, Colin Clement, Vinayak Thapliyal, Sebastian Ament, Jihao Andreas Lin, Vincent Huang, Kai Han, Boyi Jiang, Wenlin Chen, Chaorong Chen, Ashwin Kumar, Maximilian Balandat, David Eriksson, Yifei Zhang, Pan Zhong
分类: cs.LG
发布日期: 2026-10-16
💡 一句话要点
提出可预测缩放框架以高效探索模型变更
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推荐系统 模型评估 计算效率 高斯过程 性能预测
📋 核心要点
- 现有推荐模型的评估方法需要大量计算资源，限制了假设空间的探索。
- 本文提出的可预测缩放框架通过小规模代理预测全规模模型性能，提升了模型变更的评估效率。
- 在两个不同复杂度的模型上，PS框架实现了79-88%的计算资源节省，同时保持了高准确性。
📝 摘要（中文）
评估推荐模型的候选变更需要耗费数千小时的GPU训练，这限制了工程师可探索的假设空间。本文提出可预测缩放（PS）框架，利用经验验证的规律条件，从小规模代理预测全规模模型性能。PS通过可组合的缩放函数构建缩小变体，并通过曲线拟合和校准的不确定性估计将指标投影到目标规模。我们比较了三种逐步增强的预测策略，发现即使是最简单的原始代理也能在重复运行方差的经验噪声底限内实现预测误差，而最具表现力的高斯过程则提供了15%的相对平均绝对误差改善和校准的不确定性。在两个复杂度逐渐增加的排名模型上进行评估，PS在79-88%的计算减少下正确排名了可操作的假设。
🔬 方法详解
问题定义：本文旨在解决推荐模型评估中高计算成本的问题。现有方法需要数千小时的GPU训练，导致假设空间探索受限。
核心思路：可预测缩放（PS）框架通过利用经验规律，从小规模模型预测全规模模型的性能，旨在降低计算资源消耗。
技术框架：PS框架包括三个主要模块：1) 通过可组合的缩放函数构建小规模模型；2) 使用曲线拟合技术将小规模模型的性能指标投影到全规模；3) 校准不确定性估计以提高预测的可靠性。
关键创新：PS框架的核心创新在于其系统性地利用经验规律进行性能预测，显著提高了模型评估的效率和准确性。与传统方法相比，PS能够在更少的计算资源下实现有效的模型变更评估。
关键设计：在实现过程中，PS框架采用了多种预测策略，包括简单的原始代理和更复杂的高斯过程，后者提供了更好的预测性能和不确定性校准。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PS框架在两个不同复杂度的模型上实现了79-88%的计算资源节省，同时保持了高达15%的相对平均绝对误差改善。这表明PS框架在模型变更评估中的有效性和高效性，能够在较低的计算成本下提供可靠的性能预测。
🎯 应用场景
该研究的潜在应用领域包括推荐系统、搜索引擎优化和机器学习模型的快速迭代。通过降低模型评估的计算成本，工程师可以更高效地探索和验证不同的模型变更，从而加速产品开发和优化。未来，该框架可能会扩展到其他需要高计算资源的领域，如深度学习模型的训练和调优。
📄 摘要（原文）
Evaluating candidate changes (hypotheses) to recommendation models requires full-scale training runs consuming thousands of GPU-hours, severely limiting the hypothesis space engineers can feasibly explore. We introduce Predictable Scaling (PS), a systematic framework that exploits empirically verified regularity conditions to predict full-scale model performance from small-scale proxies. PS constructs scaled-down variants via composable scaling functions along distinct resource axes, and projects metrics to the target scale via curve fitting with calibrated uncertainty estimates. We compare three prediction strategies of increasing expressiveness: even the simplest (raw proxy) achieves prediction error within the empirical noise floor of repeated-run variance; the most expressive (Gaussian Process) provides an indicative 15% relative MAE improvement and calibrated uncertainty. Evaluation on two ranking models of increasing complexity---a task-specific model and a foundation model---demonstrates that PS correctly ranks actionable hypotheses across diverse hypothesis types at 79-88% compute reductions.