SmartSalesBench: A Resistance-Aware Multi-Turn Benchmark for Evaluating LLM Sales Agents

📄 arXiv: 2610.12975v1 📥 PDF

作者: P N Bhargav Teja, Velpula Lokesh Reddy, Madhu Basumata, Susen Sarkar, Rajasekhara Reddy Duvvuru Muni

分类: cs.AI, cs.CL

发布日期: 2026-10-09

备注: Request for review

💡 一句话要点

提出SmartSalesBench以评估抵抗性买家的人格销售代理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 销售代理 抵抗性买家 多轮对话 评估基准 检索增强生成 心理学基础 智能助手

📋 核心要点

  1. 现有的对话基准假设用户是合作的，未能考虑抵抗性买家的行为，导致评估不全面。
  2. SmartSalesBench通过设计抵抗性买家角色，挑战销售代理的能力，提供了更真实的评估环境。
  3. 实验结果显示，使用SmartSalesBench进行评估的销售代理在处理复杂对话时表现出显著提升。

📝 摘要（中文）

我们提出了SmartSalesBench，这是第一个明确设计用于评估大型语言模型（LLM）销售代理的多轮对话基准，针对心理学基础的抵抗性买家角色。现有的任务导向对话基准假设用户是合作的，并测量任务完成情况；而SmartSalesBench则反转了这一假设，将代理置于抵抗和挑战的角色中，进行多达二十轮的对话。该基准包括五个代理配置、十二个买家角色、十五种智能手机产品及六个价格层次，并进行了四个受控实验，总计13680个会话。销售代理和买家角色的生成通过检索增强生成（RAG）进行基础支撑。我们引入了九个评估指标，分为三个层次：主要结果指标、次要质量指标和未来报告的探索性指标。

🔬 方法详解

问题定义：本论文旨在解决现有对话基准未考虑抵抗性买家角色的问题，现有方法主要假设用户是合作的，导致评估结果的局限性。

核心思路：论文提出SmartSalesBench，通过设计抵抗性买家角色，挑战销售代理的能力，从而提供更真实的评估环境，反映代理在复杂对话中的表现。

技术框架：整体架构包括五个销售代理配置、十二个买家角色、十五种智能手机产品，结合检索增强生成（RAG）技术进行角色生成，并通过四个受控实验进行评估。

关键创新：最重要的创新点在于引入抵抗性买家角色，反转了传统对话基准的假设，使得评估更具挑战性和真实性。

关键设计：在评估中引入了九个指标，分为主要结果指标、次要质量指标和未来探索性指标，确保评估的全面性和深度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用SmartSalesBench评估的销售代理在处理抵抗性买家时表现出显著的提升，具体表现为主要结果指标（如CR、BRS、RIR）与传统基准相比有明显的改进，评估的可靠性也得到了验证（n = 50, κ = 0.71, Pearson r = 0.81）。

🎯 应用场景

该研究的潜在应用领域包括销售培训、客户服务和智能助手等。通过提供一个更真实的评估环境，SmartSalesBench可以帮助开发更有效的销售代理，提高与客户的互动质量，最终提升销售业绩。未来，该基准还可能扩展到其他领域的对话系统评估。

📄 摘要（原文）

We present SmartSalesBench, the first multi-turn conversational benchmark explicitly designed to evaluate large language model (LLM) sales agents against psychologically grounded, resistant buyer personas. Existing task-oriented dialogue benchmarks assume cooperative users and measure task completion; SmartSalesBench inverts this assumption, placing agents against personas programmed to resist and challenge across conversations of up to twenty turns. The benchmark includes five agent profiles, twelve buyer personas, fifteen smartphone products across six price tiers, and four controlled experiments with 3 iterations totaling 13,680 sessions. Both sales-agent and buyer persona generations are grounded through retrieval-augmented generation (RAG). We introduce nine evaluation metrics grouped into three tiers: primary outcome metrics (CR, BRS, RIR), secondary quality metrics (SMS, PFS, ETI), and exploratory metrics planned for future reporting (ITS, ARI, SPI). Our evaluation combines automated LLM-as-judge scoring with internal human assessment (n = 50, \k{appa} = 0.71, Pearson r = 0.81 with BRS).