Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale
作者: Edesio Alcoba, Kevin Rossell, Aman Gupta, Shao Tang, Jiwoo Hong, Pabel Carrillo-Mendoza, Wanderson Conceição Ferreira, Alvaro Tedeschi, Zayd Simjee, Shreya Rajpal, Bruno Finardi Hime, Christian Sousa, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath
分类: cs.AI, cs.CL
发布日期: 2026-09-24
备注: 17 pages, 11 figures
💡 一句话要点
提出一种模拟工作流程以优化客户体验AI代理的部署
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 客户体验 AI代理 模拟测试 受监管行业 性能优化 自然语言处理 多步骤工作流程
📋 核心要点
- 现有的客户体验代理在意图检测和遵循复杂政策方面存在性能不足，手动测试和现场实验的局限性影响了客户信任。
- 论文提出了一种假设驱动的模拟工作流程，通过合成客户和模拟工具输出来筛选CX代理，避免了直接客户接触。
- 实验表明，模拟引导的迭代使得tNPS提升36.69分，SSR提升8.82个百分点，显著改善了客户体验。
📝 摘要（中文）
客户体验（CX）代理利用工具和大型语言模型来处理客户请求并指导与产品的对话交互。在受监管行业中，提升这些代理的性能面临挑战，尤其是在意图检测、遵循复杂操作政策和可靠使用工具方面。手动的端到端测试覆盖有限，而现场实验则可能导致客户信任的下降。本文提出了一种假设驱动的模拟工作流程，用于在部署前筛选候选CX代理。通过使用Snowglobe模拟器，合成客户对代理响应的反应，模拟工具输出使多步骤代理工作流程得以实现，而无需调用生产后端。实验结果显示，模拟引导的迭代显著提升了交易净推荐分数（tNPS）和自助服务率（SSR）。
🔬 方法详解
问题定义：本文旨在解决客户体验代理在受监管行业中面临的意图检测、政策遵循和工具使用的挑战。现有方法如手动测试和现场实验存在覆盖不足和客户信任风险等痛点。
核心思路：提出了一种假设驱动的模拟工作流程，通过合成客户反应和模拟工具输出，进行多步骤代理工作流程的测试，避免了直接客户接触带来的风险。
技术框架：整体架构包括合成客户、代理响应评估和工具输出模拟等模块，利用Snowglobe模拟器对代理进行全面测试。
关键创新：最重要的创新在于通过模拟实现了对代理的广泛探索，能够在不暴露客户的情况下进行模型、推理设置和提示的优化，这在传统方法中是难以实现的。
关键设计：在模拟过程中，设置了多个参数以评估代理的性能，包括损失函数的选择和网络结构的设计，以确保模拟结果与实际生产环境的高相关性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模拟引导的迭代使得交易净推荐分数（tNPS）提升了36.69分，自助服务率（SSR）提升了8.82个百分点，达到了Nubank历史最高水平，且在tNPS上没有显著变化，验证了模拟方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗等受监管行业，能够在不影响客户体验的情况下，优化客户服务代理的性能。通过模拟测试，企业可以更高效地迭代和部署AI代理，提升客户满意度和信任度，具有重要的实际价值和未来影响。
📄 摘要（原文）
Customer experience (CX) agents use tools and large language models to address customer requests and guide conversational interactions with an organization's products. Improving these agents, especially in regulated industries, is difficult: they must detect intent, follow complex operational policies and use tools reliably. Manual end-to-end testing offers limited coverage, while live experiments expose customers to failures that can erode trust. We present a hypothesis-driven simulation workflow for screening candidate CX agents before deployment. Synthetic customers react to agent responses and simulated tool outputs enable multi-step agentic workflows without invoking production backends. We use the Snowglobe simulator on Nubank's Card Delivery agent and its expanded successor, Card Management - Nubank's highest-volume chat-support agent in Brazil. Across 4 deployed versions, simulated and production version-level binary evaluator scores show high correlation. Simulation-guided iteration increased transactional net promoter score (tNPS) by 36.69 points in a live A/B test. We also screened open-weight configurations in over 16,000 simulated conversations. In a subsequent live A/B test, the selected model increased self-service rate (SSR) by 8.82 percentage points to the highest level observed at Nubank, with no statistically significant change in tNPS. Simulation made broad exploration of models, reasoning settings, and prompts feasible without customer exposure, enabling production improvements that would have been impractical to pursue through live experimentation alone.