Grounded Product Understanding in Livestream Videos

📄 arXiv: 2609.20508v1 📥 PDF

作者: Xinyu Zhang, Junjie Chen, Jiawei Ge, Qianlong Li, Libin Ma, Baokun Pan, Yahui Luo

分类: cs.CV

发布日期: 2026-09-17

💡 一句话要点

提出GPUB基准以解决电商直播中的产品理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电商直播 产品理解 多模态模型 时间定位 产品检索 GPUB基准 UniPro模型

📋 核心要点

  1. 电商直播中产品信息分散，现有方法在产品检索和时间定位上评估不足，未能有效结合产品身份与时间证据。
  2. 本文提出GPUB基准，包含多时刻注释，支持联合识别目标产品及其相关时刻的GPrU任务，并开发UniPro模型以提升性能。
  3. 实验结果显示，UniPro在GPrU任务上将Pair mAP@.3从10.13%提升至21.53%，并在Joint R@1@.3上达到37.23%的性能。

📝 摘要（中文）

电商直播已成为向在线消费者展示产品的重要渠道，但产品信息分散在不同时刻，给产品理解应用带来了挑战。现有基准通常孤立评估产品检索和时间定位，未能充分评估产品身份与时间证据之间的对应关系。为此，本文引入GPUB，一个包含3000个直播实例的大规模基准，提供多时刻的质量控制注释和超过31K的时尚产品目录。GPUB支持三项评估任务，其中主要任务GPrU要求从直播视频和候选产品集中联合识别目标产品及其支持时刻。实验表明，现有多模态模型在GPrU上表现仍然具有挑战性，最佳基线仅达到10.13%的Pair mAP@.3。为缩小性能差距，本文进一步开发了UniPro，一个统一的产品理解模型，将产品对齐和时间结构化表示从共享的多模态编码中提取，Pair mAP@.3提升至21.53%，Joint R@1@.3达到37.23%。

🔬 方法详解

问题定义：本文旨在解决电商直播中产品理解的挑战，现有方法在产品检索和时间定位上评估孤立，未能有效结合产品身份与时间证据。

核心思路：提出GPUB基准和UniPro模型，通过多模态编码实现产品对齐和时间结构化表示，促进产品理解的整体提升。

技术框架：整体架构包括数据采集、质量控制注释、模型训练和评估，主要模块包括产品识别、时刻定位和多模态融合。

关键创新：GPUB基准的引入和UniPro模型的设计是本文的核心创新，UniPro通过共享多模态编码实现了更高效的产品理解。

关键设计：UniPro模型采用特定的损失函数和网络结构，优化了产品对齐和时间信息的提取，确保了模型在复杂场景下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UniPro模型在GPrU任务上将Pair mAP@.3从10.13%显著提升至21.53%，同时在Joint R@1@.3上达到37.23%的性能，展示了其在产品理解任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括电商平台的直播产品展示、智能推荐系统和视频内容分析等。通过提升产品理解能力，能够更好地服务于消费者，增强购物体验，推动电商行业的发展。未来，该技术还可能扩展到其他领域，如社交媒体视频分析和广告内容优化。

📄 摘要（原文）

E-commerce livestreams have emerged as an important channel for presenting products to online consumers, containing multiple products whose information is scattered in different moments. This poses significant challenges for downstream product understanding applications, such as product-centric livestream clipping, where models need to identify the product and its relevant segments for information gathering. However, existing benchmarks for general product understanding typically evaluate product retrieval and temporal localization in isolation, leaving the critical correspondence between product identity and temporal evidence largely unassessed. To address this limitation, we introduce GPUB, a large-scale benchmark comprising 3,000 livestream instances with quality-controlled multi-moment temporal annotations and a catalog of over 31K fashion products. GPUB supports three evaluation tasks: the main task Grounded Product Understanding (GPrU) requires jointly identifying the target product and localizing its supporting moments from a livestream video and a candidate product set; Product Retrieval and Product Moment Localization serve as two complementary subtasks. Evaluation of existing multimodal models shows that GPrU remains highly challenging, with the best-performing baseline achieving only 10.13% Pair mAP@.3. To narrow the performance gap, we further develop UniPro, a unified product understanding model that derives product-aligned and temporally structured representations from shared multimodal encoding, improving Pair mAP@.3 to 21.53% while achieving 37.23% Joint R@1@.3 on GPrU.