FORGE: Form-Optimal Routing of Grounded Evidence for Frozen LLM Agents
作者: Xi Xiao, Yunbei Zhang, Chen Liu, Lin Zhao, Jialin Chen, Tianchen Zhao, Xiang Xu, Youngeun Kim, Tianyang Wang, Min Xu
分类: cs.LG, cs.CL
发布日期: 2026-09-28
备注: 34 pages. Project page: https://xixiaouab.github.io/projects/FORGE/
💡 一句话要点
提出FORGE框架以优化冻结LLM代理的证据路由
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 冻结模型 智能代理 证据路由 推理预算 成本感知 Kullback-Leibler蒸馏 群体相对策略优化 Boltzmann路由
📋 核心要点
- 现有方法在处理输入查询时，证据提供和推理预算的固定默认设置往往导致80%的查询支持形式或推理深度分配不当。
- FORGE框架通过为每个查询在支持形式和推理深度的联合动作空间中进行路由，优化冻结模型的适应性，提升了模型的响应质量。
- 在多个基准测试中，FORGE在降低令牌成本的同时显著提高了准确性，并实现了跨主机的零-shot迁移能力。
📝 摘要（中文）
在智能代理系统中，冻结的基础模型越来越多地作为封闭权重的API端点部署，使得下游适应仅能通过模型周围的输入和推理过程实现。因此，对于每个输入查询，提供何种证据和分配多少推理预算这两个相互关联的决策在很大程度上决定了答案质量和令牌成本。我们提出了FORGE，一个统一框架，通过针对每个查询的路由在支持形式和推理深度的联合动作空间中进行适应。通过熵正则化的成本感知效用目标，我们推导出闭式的Boltzmann路由目标，并将策略实例化为一个轻量级的269K参数因子化路由器。在没有任何权重访问的情况下，路由策略围绕冻结主机进行训练，采用三阶段管道：离线臂枚举、从Boltzmann目标的监督Kullback-Leibler（KL）蒸馏，以及与主机反馈的群体相对策略优化（GRPO）细化。FORGE在5个知识密集型基准和8个从7B到671B参数的冻结主干上，提升了准确性，同时降低了42-45%的令牌成本，并在较低令牌成本下实现了零-shot跨主机迁移。
🔬 方法详解
问题定义：论文旨在解决冻结基础模型在输入查询时证据提供和推理预算的固定设置导致的性能低下问题。现有方法在80%的查询中存在支持形式或推理深度的分配不当，影响了答案质量和成本。
核心思路：FORGE框架通过为每个查询动态路由，优化支持形式和推理深度的分配，从而提升冻结模型的适应性和响应质量。该设计允许模型在不改变权重的情况下，灵活调整推理策略。
技术框架：FORGE的整体架构包括三大模块：离线臂枚举、监督Kullback-Leibler蒸馏和群体相对策略优化。首先进行离线臂的枚举，然后通过KL蒸馏从Boltzmann目标中学习，最后利用主机反馈进行策略优化。
关键创新：FORGE的主要创新在于提出了一种熵正则化的成本感知效用目标，并推导出闭式的Boltzmann路由目标。这种方法与传统的固定策略方法本质上不同，允许动态适应。
关键设计：路由策略的设计为轻量级269K参数的因子化路由器，采用了熵正则化和成本感知的损失函数，确保在训练过程中能够有效利用主机反馈进行优化。
🖼️ 关键图片
📊 实验亮点
在5个知识密集型基准测试中，FORGE在准确性上实现了显著提升，同时降低了42-45%的令牌成本。此外，FORGE在不同主机间的零-shot迁移能力表现出色，进一步验证了其灵活性和有效性。
🎯 应用场景
FORGE框架在智能代理系统中具有广泛的应用潜力，尤其是在需要高效推理和低成本响应的场景中，如在线客服、智能问答系统和知识检索等领域。通过优化证据路由，FORGE能够提升用户体验并降低计算资源消耗，具有重要的实际价值和未来影响。
📄 摘要（原文）
In agentic AI systems, frozen foundation models are increasingly deployed as closed-weight API endpoints, making downstream adaptation possible only through the inputs and inference procedures surrounding the model. As a result, for each input query, two coupled decisions largely determine both answer quality and token cost: what evidence to provide and how much reasoning budget to allocate. Fixed defaults along these axes are often suboptimal, misallocating support form or reasoning depth on roughly 80% of queries in our analysis. To address this challenge, we propose FORGE, a unified framework for adapting frozen models through per-query routing over a joint action space that spans both support form and thinking depth. Under an entropy-regularized, cost-aware utility objective, we derive a closed-form Boltzmann routing target and instantiate the policy as a lightweight 269K-parameter factorized router. The routing policy is trained around the frozen host, without any weight access, through a three-stage pipeline: offline arm enumeration, supervised Kullback-Leibler (KL) distillation from the Boltzmann target, and Group Relative Policy Optimization (GRPO) refinement with host feedback. Across 5 knowledge-intensive benchmarks and 8 frozen backbones ranging from 7B to 671B parameters, FORGE improves accuracy at 42-45% lower token cost on both main hosts, transfers zero-shot across hosts at lower token cost, and composes with intrinsic thinking budgets where available.