Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?
作者: Ankit Sonthalia, Haritz Puerto, Alexander Rubinstein, Martin Gubri, Seong Joon Oh
分类: cs.AI
发布日期: 2026-10-06
💡 一句话要点
提出BOTTLED基准以评估LLM代理的任务特定解决方案能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 任务特定解决方案 瓶装能力 成本效益 基准评估 自动化代理 零-shot学习
📋 核心要点
- 现有方法在处理大规模相关任务时，单独查询LLM的成本高昂，难以实现经济高效的解决方案。
- 本文提出的BOTTLED基准允许代理在固定资源下自主选择方法，探索如何将通用能力转化为任务特定的解决方案。
- 实验结果显示，尽管零-shot表现强劲，但瓶装能力的表现差异显著，且在某些情况下，瓶装方案的成本效益显著高于传统方法。
📝 摘要（中文）
大型语言模型（LLMs）能够解决许多狭窄任务，但单独查询数百万个相关实例的成本可能非常高。本文提出了“瓶装”这一概念，指的是将通用能力转化为特定任务解决方案的能力，以平衡答案质量和摊销成本。我们引入了BOTTLED基准，要求代理在固定的时间、计算和LLM API预算下完成整个未标记的工作负载。研究发现，强大的零-shot任务表现并不一定能可靠地转化为强大的瓶装能力。尽管瓶装可以带来显著的成本节约，但在某些情况下，性能仍低于小模型蒸馏基线。BOTTLED为评估和改进代理在大规模重复工作负载中投资有限资源的能力提供了基础。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在处理大规模相关任务时的高成本问题，现有方法在查询多个实例时效率低下，难以实现经济可行的解决方案。
核心思路：论文提出“瓶装”概念，允许代理在固定的时间和资源预算下，将通用能力转化为特定任务的解决方案，从而降低成本并提高效率。
技术框架：BOTTLED基准的整体架构包括三个主要模块：任务接收模块、代理决策模块和执行模块。代理根据预算选择训练小模型或编写可重用程序来完成任务。
关键创新：最重要的创新在于引入了瓶装能力的评估标准，揭示了零-shot表现与瓶装能力之间的差异，强调了在资源有限的情况下优化任务解决方案的重要性。
关键设计：在实验中，代理的参数设置和损失函数设计经过精心调整，以确保在固定的计算预算内实现最佳性能，特别是在处理查询-产品相关性分类任务时。具体的网络结构和训练策略也经过优化，以提高瓶装效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在查询-产品相关性分类任务中，Opus 5在成本降低657倍的情况下，仍能保持约82%的零-shot宏F1得分。此外，Opus 5在同一任务上恢复了约94%的Jev模型的宏F1得分，且成本仅为Jev的四分之一，显示出瓶装方法的竞争力。
🎯 应用场景
该研究的潜在应用领域包括自动化客服、内容生成和数据分析等场景，能够帮助企业在处理大规模任务时降低成本，提高效率。未来，BOTTLED基准可能成为评估和优化LLM代理能力的重要工具，推动智能代理技术的发展。
📄 摘要（原文）
Large language models (LLMs) can solve many narrow tasks, but querying them separately for millions of related instances can be prohibitively expensive. Can LLM agents autonomously create cheaper solutions for such workloads? We call this ability "bottling": the ability to turn general capabilities into task-specific solutions that balance answer quality and amortised cost. We introduce BOTTLED, a benchmark in which agents receive an entire unlabelled workload and must complete it under fixed time, compute and LLM API budgets. Agents choose their own approach, such as training a small model or writing a reusable program. Across ten models and three tasks, we find that strong zero-shot task performance does not reliably translate into strong bottling capabilities. Models with similar zero-shot scores can differ substantially after bottling, and 48 of 60 bottling runs score below the lower bound of the 95% confidence interval of their model's zero-shot performance. Moreover, 31 of 60 runs underperform the stronger of two small-model distillation baselines with the same token budget. Nevertheless, bottling can yield substantial savings: on query-product relevance classification, Opus 5 retains about 82% of its zero-shot macro-F1 at roughly 657 times lower reported cost. Bottling is also competitive with Jev, a "system one" model built especially for cheap, repetitive inference: Opus 5 on the same task recovers about 94% of Jev's macro-F1 at a quarter of Jev's projected full-workload cost. BOTTLED provides a basis for evaluating and improving agents' ability to invest limited resources in reusable solutions for large, repetitive workloads.