When is a better LLM worth paying for? Stochastic Optimization with Switching Mixed-Fidelity Oracles
作者: Swati Gupta, Tianjiao Li
分类: math.OC, cs.AI, cs.LG
发布日期: 2026-10-15
💡 一句话要点
提出混合保真度随机优化方法以降低LLM成本
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 随机优化 混合保真度 成本感知 自适应策略 数据整理 优化算法
📋 核心要点
- 现有方法在使用高保真LLM时面临成本过高的问题，且其价值依赖于下游任务的优化准确性。
- 论文提出了两种成本感知的算法框架，能够在不同保真度的随机oracle之间自适应切换，以降低整体成本。
- 实验结果表明，所提方法在保持相似准确度的同时，显著减少了相较于固定高保真LLM的累计成本。
📝 摘要（中文）
大型语言模型（LLMs）在数据清理、标签错误检测和缺失值重建等决策过程中越来越多地被使用。然而，LLM辅助的数据整理带来了新的操作权衡：更高保真的模型和更丰富的提示可能会显著增加成本，而这种额外保真的价值取决于下游优化的准确性。本文探讨了在特定下游任务中，何时值得为更好的LLM付费。我们通过混合保真度的一阶随机优化研究这一问题，提出了两种成本感知的算法框架，允许在随机oracle之间自适应切换。通过合成和LLM完成实验，我们验证了理论预测的自适应策略的有效性。
🔬 方法详解
问题定义：本文旨在解决在特定下游任务中，如何有效选择LLM的保真度以降低成本的问题。现有方法往往忽视了不同保真度模型的成本差异，导致不必要的开支。
核心思路：论文的核心思路是通过混合保真度的随机优化，设计自适应切换机制，根据任务需求动态选择oracle的保真度，从而实现成本与性能的平衡。
技术框架：整体架构包括两个主要阶段：第一阶段是基于已知偏差的自适应选择策略，第二阶段是基于未知偏差的预算认证方案。前者使用重启的成本感知策略，后者通过偶尔的可信梯度评估来认证优化进展。
关键创新：最重要的技术创新在于提出了两种自适应切换算法，能够在已知和未知偏差的情况下优化oracle选择，这与传统固定oracle方法有本质区别。
关键设计：在算法设计中，关键参数包括oracle的选择策略、成本计算方式以及梯度评估的频率等，确保在不同阶段能够灵活调整以适应优化需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提自适应策略在多次实验中成功跳过了多个高成本的LLM oracle，相较于固定高保真替代方案，累计成本降低了显著幅度，同时保持了相似的优化准确度，验证了理论的有效性。
🎯 应用场景
该研究的潜在应用领域包括数据科学、机器学习模型训练和决策支持系统等。通过优化LLM的使用成本，能够在资源有限的情况下提高数据处理的效率和准确性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Large language models (LLMs) are increasingly used upstream of decision-making to clean data, detect label errors, and reconstruct missing values. Yet LLM-assisted data curation creates a new operational tradeoff: higher-fidelity models and richer prompts can be substantially more expensive, while the value of this additional fidelity depends on the downstream optimization accuracy. This raises the central question of this work: when should one pay for a better LLM, given a specific downstream task at hand? We study this question through stochastic optimization with mixed-fidelity first-order oracles, which can have systematic bias and state-dependent variance. We develop two cost-aware algorithmic frameworks that allow adaptive switching between stochastic oracles. With known bias, the first meta-algorithm applies a restarted, cost-aware policy that adaptively selects oracle fidelity across optimization stages. Its cumulative cost is no larger than that of the best fixed oracle in hindsight and can be substantially smaller. With unknown bias, we develop a budgeted certification scheme that uses occasional trusted-gradient evaluations to certify the optimization progress and eliminate unsuccessful oracle sources, and show an explicit tradeoff between certification cost and delayed detection of biased sources. We provide concrete realizations of these meta-algorithms by applying biased stochastic gradient extrapolation (SGE) and recursive regularization under state-dependent noise as subroutines. Synthetic and LLM-completion experiments illustrate the qualitative switching behavior predicted by the theory: the adaptive policy skips several expensive LLM oracles and substantially reduces cumulative cost relative to fixed high-fidelity alternatives while achieving comparable accuracy.