Beyond Single Videos: Benchmarking and Active Evidence Seeking for E-Commerce Cross-Video Reasoning

📄 arXiv: 2610.03099v1 📥 PDF

作者: Jinghan Zhao, Yiman Hu, Liang Wu, Jian Xu, Bo Zheng

分类: cs.CV, cs.AI

发布日期: 2026-10-02

💡 一句话要点

提出AdsCVR基准与AdSeek框架以解决电商跨视频推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电商视频分析 跨视频推理 主动证据获取 多模态学习 强化学习 轨迹修正 动态工具选择

📋 核心要点

  1. 现有多模态模型主要关注单视频理解，缺乏跨视频信息比较的能力，导致电商视频分析的局限性。
  2. 论文提出的AdSeek框架通过动态选择视觉和音频工具，替代静态采样，实现主动证据获取，提升跨视频推理能力。
  3. AdSeek在AdsCVR测试集上取得74.30%的准确率，相较于基线模型提升27.90个百分点，并在开放领域CrossVid基准上具有良好泛化能力。

📝 摘要（中文）

电商视频信息密集，消费者和商家常需比较不同视频中的产品信息。然而，现有的多模态模型主要集中于单视频理解，跨视频信息比较能力有限。为此，我们引入了AdsCVR，这是首个电商跨视频推理基准，包含2483个视频和6110个问答对，涵盖六个推理维度。我们提出的AdSeek框架能够动态选择视觉和音频工具，替代静态均匀采样，实现主动证据获取。通过离线轨迹修正机制，我们能够识别推理错误和缺失的多模态证据，从而提高模型的推理能力。AdSeek在AdsCVR测试集上取得74.30%的准确率，超越了其基础模型Qwen3-VL-8B-Instruct 27.90个百分点，并在开放领域CrossVid基准上也表现出色。

🔬 方法详解

问题定义：本论文旨在解决电商视频中跨视频推理的挑战，现有方法在处理多视频信息比较时存在能力不足的问题，尤其是在冗余帧中定位细粒度证据的困难。

核心思路：我们提出AdSeek框架，通过动态选择适合的视觉和音频工具，进行多轮探索，替代传统的静态均匀采样，进而实现主动证据获取，提高推理的准确性和效率。

技术框架：AdSeek框架包括多个模块：动态工具选择模块、主动证据获取模块和离线轨迹修正机制。动态工具选择模块根据当前推理需求选择合适的视觉和音频工具，主动证据获取模块负责在多轮对话中收集相关证据，而离线轨迹修正机制则用于识别和修正推理过程中的错误。

关键创新：最重要的技术创新在于引入了主动证据获取的机制，允许模型在推理过程中根据需要动态调整信息采集策略，这与现有方法的静态采样方式有本质区别。

关键设计：在模型设计中，我们采用了离线轨迹修正机制，通过识别推理错误和缺失的多模态证据，提供监督微调信号，减少在强化学习过程中学习到的偏差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，AdSeek在AdsCVR测试集上取得74.30%的准确率，相较于基线模型Qwen3-VL-8B-Instruct提升了27.90个百分点。此外，AdSeek在开放领域CrossVid基准上也展现了良好的泛化能力，证明了其有效的主动证据收集能力。

🎯 应用场景

该研究的潜在应用领域包括电商平台的视频分析、产品推荐系统以及市场营销策略评估。通过提升跨视频推理能力，商家能够更有效地评估产品表现，消费者也能更方便地进行产品比较，从而提高购物体验和决策效率。未来，该技术有望扩展到其他领域，如视频监控、教育视频分析等。

📄 摘要（原文）

E-commerce videos are information-dense and frequently compared by consumers evaluating products and merchants assessing marketing strategies. However, existing multimodal models mainly focus on single-video understanding and have limited ability to compare information across videos. We introduce AdsCVR, the first e-commerce cross-video reasoning benchmark, containing 2,483 videos and 6,110 question-answer pairs across six reasoning dimensions. Cross- video reasoning requires models to locate fine-grained evidence among many redundant frames and integrate visual details, speech, and on-screen text. We therefore propose AdSeek, an agentic framework that dynamically selects visual and audio tools during multi-turn exploration, replacing static uniform sampling with active evidence acquisition. To address the sparse credit assignment of reinforcement learning, we develop an offline trajectory rectification mechanism that identifies reasoning errors and missing multimodal evidence in RL-generated trajectories. The corrected trajectories provide supervised fine-tuning signals that reduce biases learned during RL. This mechanism supports a rectified bootstrapping pipeline in which initial RL exposes reasoning bottlenecks, supervised fine-tuning corrects them, and a final RL stage further improves the policy. AdSeek achieves 74.30 percent accuracy on the AdsCVR test split, outperforming its Qwen3-VL-8B-Instruct backbone by 27.90 percentage points. It also generalizes to the open- domain CrossVid benchmark, demonstrating effective active evidence gathering.