Salesforce Koa: An Enterprise Language Model for Agentic Tool Use
作者: Zixiang Chen, Sufeng Niu, Yingchi Liu, Wenting Zhao, Akshara Prabhakar, Shubham Mehrotra, Bin Bi, Zhujun Lan, Katherine Tan, Mohammad Ramezanali, Tulika Manoj Awalgaonkar, Monojit Banerjee, Jielin Qiu, Shiva Kumar Pentyala, Zhepeng Cen, Anupam Tripathi, Ali Ziaei, Regunathan Radhakrishnan, Darvish Lee Shadravan, Shelby Heinecke, Sitaram Asur, Silvio Savarese, James Zhu, Phil Mui, Huan Wang
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-09-14
备注: 16 pages, 4 figures, 5 tables
💡 一句话要点
提出Salesforce Koa以提升企业工具使用能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 企业语言模型 强化学习 工具使用 自主推理 多轮任务 工作流规范 Agent Script
📋 核心要点
- 现有方法在企业应用中缺乏有效的工具使用能力和自主推理能力，限制了其实际应用。
- 论文提出通过强化学习和模拟奖励机制，提升模型在多轮任务中的表现，专注于企业工具使用。
- 实验结果显示，Salesforce Koa在多轮工具使用上显著优于开源基础模型，并超越了多个基线模型。
📝 摘要（中文）
我们提出了Salesforce Koa，这是一个通过对开源Nemotron-3-Super-120B基础模型进行后训练，并结合使用群体相对策略优化（GRPO）的强化学习构建的企业语言模型。Salesforce Koa在公共和合成生成的数据上进行训练，未使用客户数据，旨在提高工具使用和自主能力，同时保持强大的通用性能。其独特之处在于一个模拟到奖励的管道，将工作流规范扩展为基于角色的多轮任务，并为数据依赖请求提供成功工具使用的任务解决奖励。针对企业领域，这些规范使用Salesforce的声明性语言Agent Script编写；而对于公共工具使用领域，我们直接合成工作流结构。通过公共工具使用、自主推理和企业客户关系管理（CRM）基准测试，Salesforce Koa在多轮工具使用上表现出明显的提升，超越了强大的专有基线，同时仍低于最强的前沿模型。这些结果表明，基于规范的强化学习是专门化开放权重基础模型以应对企业自主任务的有效途径。
🔬 方法详解
问题定义：本论文旨在解决现有企业语言模型在工具使用和自主推理方面的不足，尤其是在多轮任务中的表现不佳。现有方法往往无法有效处理复杂的工作流和任务依赖关系。
核心思路：论文的核心思路是通过强化学习和模拟奖励机制，利用群体相对策略优化（GRPO）来提升模型的工具使用能力和自主推理能力。通过将工作流规范转化为多轮任务，模型能够更好地理解和执行复杂的任务。
技术框架：整体架构包括基础模型Nemotron-3-Super-120B，后续的强化学习阶段，以及模拟到奖励的管道。主要模块包括工作流规范生成、角色条件多轮任务构建和任务解决奖励机制。
关键创新：最重要的技术创新在于引入了模拟到奖励的管道，使得模型能够在执行任务时获得基于成功工具使用的奖励。这种方法与传统的单一任务训练方式有本质区别，能够更好地适应企业环境。
关键设计：在模型训练中，采用了特定的损失函数来优化多轮任务的表现，并设计了适应性强的网络结构，以支持复杂的任务解析和执行。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Salesforce Koa在多轮工具使用任务上显著提升，超越了开源基础模型，并在多个基准测试中超过了强大的专有基线。具体而言，在多轮工具使用上，Koa的表现提升幅度明显，显示出规范驱动的强化学习方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括企业客户关系管理（CRM）、智能助手和自动化工作流等。通过提升模型的工具使用能力，Salesforce Koa能够帮助企业更高效地处理客户请求和任务，提升工作效率和客户满意度。未来，该模型可能在更多行业中得到广泛应用，推动智能化转型。
📄 摘要（原文）
We present Salesforce Koa, an enterprise language model built by post-training the open-weight Nemotron-3-Super-120B foundation model with reinforcement learning using Group Relative Policy Optimization (GRPO). Salesforce Koa is trained on public and synthetically generated data, with no customer data, to improve tool use and agentic capabilities while preserving strong general-purpose performance. Its distinctive component is a simulation-to-reward pipeline that expands workflow specifications into persona-conditioned multi-turn tasks with task-resolution rewards grounded in successful tool use for data-dependent requests. For enterprise domains, these specifications are written in Agent Script, Salesforce's declarative language for building Agentforce agents; for public tool-use domains, we synthesize the workflow structure directly. The same simulation and grounded-reward machinery drives GRPO across both. Across public tool-use, agentic-reasoning, and enterprise Customer Relationship Management (CRM) benchmarks, Salesforce Koa improves over its open-weight base, with the clearest gains on multi-turn tool use, and surpasses a strong proprietary baseline while remaining below the strongest frontier models. These results show that specification-driven reinforcement learning is a practical path to specializing open-weight foundation models for enterprise agentic tasks.