ECKGBench: Benchmarking Large Language Models in E-commerce Leveraging Knowledge Graph

📄 arXiv: 2503.15990v1 📥 PDF

作者: Langming Liu, Haibin Chen, Yuhao Wang, Yujin Yuan, Shilei Liu, Wenbo Su, Xiangyu Zhao, Bo Zheng

分类: cs.CL

发布日期: 2025-03-20

💡 一句话要点

ECKGBench：利用知识图谱评估电商领域大语言模型的事实性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电商知识图谱 大语言模型 事实性评估 基准数据集 问答系统

📋 核心要点

  1. 现有评估LLM事实性的方法在电商领域存在不足，如可靠性差、资源消耗高、缺乏领域专业知识。
  2. ECKGBench通过构建电商知识图谱，并基于此自动生成问题，以标准化流程保证评估的可靠性。
  3. 该基准采用问答模式，减少了输入输出token，提升了评估效率，并在各阶段融入了电商专业知识。

📝 摘要（中文）

大语言模型（LLMs）已在各种自然语言处理任务中展示了其能力。它们在电子商务中的潜力也很大，平台搜索、个性化推荐和客户服务等实际应用证明了这一点。与LLM相关的一个主要问题是其事实性（例如，幻觉），这在电子商务中尤为紧迫，因为它对用户体验和收入有重大影响。尽管已经提出了一些评估LLM事实性的方法，但缺乏可靠性、高消耗和缺乏领域专业知识等问题导致了电子商务中有效评估的差距。为了弥合评估差距，我们提出了ECKGBench，这是一个专门用于评估LLM在电子商务知识方面的能力的基准数据集。具体来说，我们采用标准化的工作流程，基于大规模知识图谱自动生成问题，保证了足够的可靠性。我们采用简单的问答模式，以最少的输入和输出token显著提高了评估效率。此外，我们在每个评估阶段都注入了丰富的电子商务专业知识，包括人工标注、提示设计、负采样和验证。此外，我们从一个新的角度探索了LLM在电子商务中的知识边界。通过对ECKGBench上几个先进LLM的综合评估，我们为利用LLM进行电子商务提供了细致的分析和见解。

🔬 方法详解

问题定义：论文旨在解决电商领域大语言模型事实性评估的问题。现有方法在评估LLM的事实性时，存在可靠性不足、评估成本高昂以及缺乏电商领域专业知识等痛点，难以有效评估LLM在电商场景下的表现。

核心思路：论文的核心思路是构建一个专门针对电商领域的知识图谱，并基于该知识图谱自动生成高质量的问答对，作为评估LLM事实性的基准数据集。通过标准化的流程和电商领域的专业知识注入，提高评估的可靠性和有效性。

技术框架：ECKGBench的构建流程主要包括以下几个阶段：1) 构建大规模电商知识图谱；2) 基于知识图谱自动生成问答对；3) 人工标注和验证问答对的质量；4) 设计合适的prompt，用于评估LLM；5) 进行负采样，增加评估的难度；6) 对LLM的回答进行验证，判断其事实性。

关键创新：该论文的关键创新在于构建了一个专门针对电商领域的知识图谱，并利用该知识图谱自动生成评估数据集。这种方法能够保证数据集的可靠性和领域专业性，同时降低了人工标注的成本。此外，论文还从一个新的角度探索了LLM在电商领域的知识边界。

关键设计：论文采用标准化的工作流程自动生成问题，保证了评估的可靠性。采用简单的问答模式，减少了输入和输出token，提高了评估效率。在每个评估阶段都注入了丰富的电子商务专业知识，包括人工标注、prompt设计、负采样和验证。具体的知识图谱构建、问题生成规则、负采样策略等细节未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文通过在ECKGBench上对多个先进的LLM进行综合评估，提供了对LLM在电商领域能力的细致分析和见解。具体的性能数据和对比基线未知，但论文强调了对LLM知识边界的探索，并为利用LLM进行电子商务提供了有价值的参考。

🎯 应用场景

该研究成果可应用于电商平台的智能客服、商品推荐、搜索排序等场景，帮助提升用户体验和平台收益。通过更准确地评估LLM的事实性，可以减少LLM在电商应用中产生错误信息的风险，提高用户对平台的信任度。未来，该基准数据集可以促进电商领域LLM技术的进一步发展。

📄 摘要（原文）

Large language models (LLMs) have demonstrated their capabilities across various NLP tasks. Their potential in e-commerce is also substantial, evidenced by practical implementations such as platform search, personalized recommendations, and customer service. One primary concern associated with LLMs is their factuality (e.g., hallucination), which is urgent in e-commerce due to its significant impact on user experience and revenue. Despite some methods proposed to evaluate LLMs' factuality, issues such as lack of reliability, high consumption, and lack of domain expertise leave a gap between effective assessment in e-commerce. To bridge the evaluation gap, we propose ECKGBench, a dataset specifically designed to evaluate the capacities of LLMs in e-commerce knowledge. Specifically, we adopt a standardized workflow to automatically generate questions based on a large-scale knowledge graph, guaranteeing sufficient reliability. We employ the simple question-answering paradigm, substantially improving the evaluation efficiency by the least input and output tokens. Furthermore, we inject abundant e-commerce expertise in each evaluation stage, including human annotation, prompt design, negative sampling, and verification. Besides, we explore the LLMs' knowledge boundaries in e-commerce from a novel perspective. Through comprehensive evaluations of several advanced LLMs on ECKGBench, we provide meticulous analysis and insights into leveraging LLMs for e-commerce.