Rewards for Budget-Aware Multi-Turn Agents That Adapt to Arbitrary Test-Time Constraints
作者: Tom A. Lamb, Adam Golinski, Eleonora Gualdoni, Sinead Williamson, Michael Kirchhof
分类: cs.LG, cs.AI
发布日期: 2026-10-20
备注: 32 pages, 8 figures
💡 一句话要点
提出预算感知的多轮智能体以适应任意测试时间约束
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 预算感知 多轮智能体 资源分配 奖励机制 动态约束
📋 核心要点
- 现有方法未能有效解决智能体在动态预算下的资源分配问题，导致成功率低下。
- 论文提出通过适应性奖励机制来引导智能体学习预算分配，增强其在多轮交互中的表现。
- 实验结果显示，惩罚超支的奖励机制显著提高了智能体在预算内的成功率和自然合规性。
📝 摘要（中文）
大型语言模型智能体通常在推理预算内被要求最大化成功率。多轮智能体需要在多个环境交互中分配预算。尽管外部工具可以强制执行预算，但尚不清楚智能体是否能够学习何时以及如何分配预算。本文探讨智能体能否在动态指定的预算下学习这种分配，并研究哪些奖励机制最能有效教导这一行为。我们对现有的长度惩罚进行了适应，提出了新的奖励公式，并在共享训练管道中比较了十一种目标。实验结果表明，使用惩罚超支的奖励显著提高了预算内的成功率和自然合规性。整体上，研究表明单个智能体能够学习在多个回合中分配资源，并根据用户指定的预算调整行为。
🔬 方法详解
问题定义：本文旨在解决大型语言模型智能体在动态预算下的资源分配问题。现有方法无法有效引导智能体在多轮交互中合理使用预算，导致性能不佳。
核心思路：论文提出通过引入适应性奖励机制，特别是对超支的惩罚，来教导智能体如何在预算限制下优化资源使用。这种设计旨在让智能体自主学习预算分配策略，而不依赖外部控制器。
技术框架：整体架构包括多个阶段：首先，智能体在不同环境中进行训练；其次，针对每种资源类型和环境，训练独立的策略；最后，通过共享训练管道比较不同的奖励目标。
关键创新：最重要的技术创新在于引入了多种预算约束的奖励机制，尤其是对超支频率和幅度的惩罚。这与现有方法的本质区别在于，智能体能够在没有外部预算分配控制器的情况下，自主学习资源分配。
关键设计：在训练过程中，设置了多种奖励函数，包括对超支的sigmoid惩罚和固定负奖励，以优化智能体在预算内的成功率和自然合规性。每种策略都在不同的预算值上进行训练，以确保智能体能够适应不同的任务和预算条件。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用惩罚超支的奖励机制，智能体在预算内的成功率显著提高，尤其是sigmoid惩罚方法在个别预算下表现最佳。与未训练模型相比，成功率提升幅度显著，且在未见预算和新基准测试中也表现出良好的适应性。
🎯 应用场景
该研究的潜在应用领域包括智能客服、自动化决策系统和游戏AI等。通过使智能体能够在预算限制下自适应地分配资源，可以提高其在实际应用中的效率和灵活性，未来可能对多种行业产生深远影响。
📄 摘要（原文）
Large language model agents are often given an inference budget and asked to maximise success within it. A multi-turn agent has to allocate this budget across many environment interactions. An external harness can enforce the budget, but it remains unclear whether the agent itself can learn when and how much to spend. We ask whether agents can learn this allocation across dynamically specified budgets and which rewards best teach this behaviour. We adapt existing length penalties to budget constraints spanning multiple resource types, introduce new reward formulations, and compare eleven objectives in a shared training pipeline. We train Qwen3.5 models at 4B and 9B on AppWorld with budgets over tokens, API calls, and environment steps, and on the BabyAI gridworld with turn budgets. We train a separate policy for each environment and resource type, with each policy trained across budget values. Training with rewards that penalise overspending substantially improves within-budget success and natural compliance over untrained models and over training on task success alone, with agents learning to adapt their resource use to stated budgets and task difficulty. These gains extend to unseen budgets and, zero-shot, to a shifted task distribution and a new benchmark. Reward objectives trade off success within budget and natural compliance. A sigmoid penalty for overspending most often achieves the highest within-budget success at an individual budget, while a fixed negative reward for overspending generally yields the strongest natural compliance. Combining penalties for overspend frequency and magnitude gives the smallest average gap to the best method at each budget. Overall, we show that a single agent can learn to allocate resources across turns and adapt its behaviour to user-specified budgets using budget feedback without external budget-allocation controllers.