SynthAVE: Scalable Synthetic Labeling for E-Commerce with LLM-Arena Validation

📄 arXiv: 2607.07469v1 📥 PDF

作者: Andrea Scarinci, Virginia Negri, Brayan Impata, Suleiman Khan, Victor Martinez, Marcello Federico

分类: cs.CL, cs.AI

发布日期: 2026-07-08

💡 一句话要点

提出SynthAVE以解决电商属性提取标注成本高的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电商属性提取 合成标签 多LLM验证 成本效益 自动化标注

📋 核心要点

  1. 电商属性提取需要大量标注数据，人工标注成本高且难以满足多样化需求。
  2. 提出SynthAVE，通过多LLM竞技场框架实现合成标签的规模化验证，降低标注成本。
  3. 实验结果表明，多数投票集成的标签与人类专家高度一致，验证效率显著提升。

📝 摘要（中文）

针对电商属性提取中需要大量标注数据的问题，本文提出了SynthAVE，一个大规模的人类验证基准，涵盖12,726种产品、229种产品类型、792种属性和4种语言（西班牙语、法语、意大利语、德语）。为实现大规模的合成标签验证，本文引入了多LLM竞技场框架，通过21种评估配置独立评估样本，最终标签通过多数投票确定。结果显示，多数投票集成与人类专家的协议度高达Cohen's κ=0.92，表明该方法在保持质量的同时，实现了成本效益的验证。

🔬 方法详解

问题定义：本文旨在解决电商领域中属性提取所需的海量标注数据问题。现有方法依赖人工标注，成本高且难以覆盖多种产品类型和语言。

核心思路：SynthAVE通过合成标签生成与多LLM竞技场验证相结合，提供了一种高效的标注方式。该设计旨在利用多种语言模型的集成判断，提高标签的准确性和可靠性。

技术框架：整体架构包括合成标签生成、独立评估和多数投票三个主要模块。首先，使用多个LLM生成合成标签，然后通过21种不同的评估配置对标签进行独立验证，最后通过多数投票确定最终标签。

关键创新：最重要的创新在于引入多LLM竞技场框架，使得不同模型的判断能够有效结合，显著提高了标签的可靠性。这与传统的单一模型验证方法形成了鲜明对比。

关键设计：在评估过程中，采用了7种模型家族和3种提示配置，确保了评估的多样性。最终，使用Cohen's κ和Fleiss' κ等统计指标评估模型间的一致性，确保了结果的科学性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，多数投票集成的标签与人类专家的协议度高达Cohen's κ=0.92，显示出95.2%的一致性。同时，个别评估者之间的Fleiss' κ为0.76，表明多模型的集成有效提升了标签的可靠性，验证效率显著提高。

🎯 应用场景

该研究的潜在应用领域包括电商平台的产品信息自动化处理、智能客服系统以及多语言市场的产品管理。通过降低标注成本和提高标签质量，SynthAVE能够帮助企业更高效地管理产品信息，提升用户体验，并在全球市场中更具竞争力。

📄 摘要（原文）

Fine-tuning large language models (LLMs) for e-commerce attribute extraction requires labeled data representative across thousands of product types, attributes, and multiple languages. This combinatorial scale translates to millions of annotations, rendering human labeling prohibitively costly. While recent work has demonstrated synthetic label generation using LLMs, deploying such approaches at industrial scale requires integrated quality control mechanisms. We present SynthAVE, a large-scale human-validated benchmark for attribute value extraction spanning 12,726 products across 229 product types, 792 attributes, and 4 languages (Spanish, French, Italian, German). To validate synthetic labels at scale, we introduce a multi-LLM arena framework where samples are independently evaluated by 21 judge configurations (7 model families $\times$ 3 prompts), with final labels determined via majority voting. The majority vote ensemble agrees with human experts at Cohen's $κ= 0.92$ (95.2% agreement), while individual judges show substantial inter-model agreement (Fleiss' $κ= 0.76$). This demonstrates that diverse models with varying individual judgments aggregate into highly reliable predictions, enabling cost-effective validation at scale while maintaining quality parity with human review.