Click-to-Ask: An AI Live Streaming Assistant with Offline Copywriting and Online Interactive QA
作者: Ruizhi Yu, Keyang Zhong, Peng Liu, Qi Wu, Haoran Zhang, Yanhao Zhang, Chen Chen, Haonan Lu
分类: cs.CV
发布日期: 2026-03-19
备注: 4 pages, 2 figures, Accepted at WWW2026 Demos
💡 一句话要点
提出Click-to-Ask，用于直播电商的AI助手，实现离线文案生成与在线互动问答。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 直播电商 AI助手 多模态信息处理 结构化数据 在线问答
📋 核心要点
- 直播电商蓬勃发展，但主播准备促销内容耗时，与观众互动效率有待提升。
- Click-to-Ask通过离线模块生成结构化产品信息和文案，在线模块实时响应观众提问，提升效率。
- 实验表明，该方法在问题识别和回复质量方面表现出色，具有实际应用潜力。
📝 摘要（中文）
本文提出Click-to-Ask，一个用于直播电商的AI驱动助手，包含互补的离线和在线模块。离线模块处理多模态产品信息，将复杂输入转化为结构化产品数据并生成合规的促销文案。在线模块通过允许主播点击问题，并利用离线模块生成的结构化产品信息和流式架构中维护的事件级历史记忆，实现对观众提问的实时响应。该系统显著减少了促销准备所需的时间，增强了内容互动性，并实现了与观众询问的及时互动，最终提高了直播电商的效率。在收集的TikTok直播帧数据集上，该方法实现了0.913的问题识别准确率和0.876的回复质量评分，展示了巨大的实际应用潜力。
🔬 方法详解
问题定义：直播电商中，主播需要花费大量时间准备产品信息和促销文案，并且在直播过程中难以快速准确地回答观众的提问，影响用户体验和销售转化率。现有方法通常依赖人工准备或简单的自动化工具，效率较低，无法充分利用多模态产品信息，并且缺乏对历史直播数据的有效利用。
核心思路：Click-to-Ask的核心思路是构建一个AI助手，通过离线模块预处理产品信息并生成文案，在线模块实时响应观众提问。离线模块负责将复杂的多模态产品信息转化为结构化数据，并生成符合规范的促销文案，从而减少主播的准备时间。在线模块则利用这些结构化数据和历史直播数据，快速准确地回答观众的提问，提升互动效率。
技术框架：Click-to-Ask系统包含离线和在线两个主要模块。离线模块包括多模态信息处理、结构化数据生成和文案生成三个子模块。多模态信息处理模块负责提取产品图片、文本描述等信息。结构化数据生成模块将提取的信息转化为结构化的产品知识图谱。文案生成模块则根据产品知识图谱生成促销文案。在线模块包括问题识别、信息检索和回复生成三个子模块。问题识别模块负责识别观众提出的问题。信息检索模块根据问题和结构化产品信息检索相关信息。回复生成模块则根据检索到的信息生成回复。
关键创新：该论文的关键创新在于将离线文案生成和在线互动问答相结合，构建了一个完整的直播电商AI助手。离线模块通过处理多模态产品信息，生成结构化数据和文案，为在线模块提供知识基础。在线模块则利用这些知识和历史直播数据，实现实时问答，提升互动效率。此外，该系统还采用了事件级历史记忆，能够更好地理解观众的意图和上下文。
关键设计：在离线模块中，使用了预训练的多模态模型来提取产品信息，并采用知识图谱技术来构建结构化数据。在在线模块中，使用了基于Transformer的问答模型来生成回复，并采用注意力机制来融合历史直播数据。损失函数方面，采用了交叉熵损失函数来优化问题识别和回复生成模型。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Click-to-Ask在TikTok直播帧数据集上取得了显著的性能提升。问题识别准确率达到0.913，回复质量评分达到0.876。这些数据表明，该方法能够有效地识别观众问题并生成高质量的回复，具有很强的实用价值。
🎯 应用场景
Click-to-Ask可广泛应用于各类直播电商平台，帮助主播更高效地进行产品推广和互动。它能够降低主播的准备成本，提升直播间的互动性和用户体验，从而提高销售转化率。未来，该技术还可以扩展到其他领域，如在线教育、客服等，提供智能化的辅助服务。
📄 摘要（原文）
Live streaming commerce has become a prominent form of broadcasting in the modern era. To facilitate more efficient and convenient product promotions for streamers, we present Click-to-Ask, an AI-driven assistant for live streaming commerce with complementary offline and online components. The offline module processes diverse multimodal product information, transforming complex inputs into structured product data and generating compliant promotional copywriting. During live broadcasts, the online module enables real-time responses to viewer inquiries by allowing streamers to click on questions and leveraging both the structured product information generated by the offline module and an event-level historical memory maintained in a streaming architecture. This system significantly reduces the time needed for promotional preparation, enhances content engagement, and enables prompt interaction with audience inquiries, ultimately improving the effectiveness of live streaming commerce. On our collected dataset of TikTok live stream frames, the proposed method achieves a Question Recognition Accuracy of 0.913 and a Response Quality score of 0.876, demonstrating considerable potential for practical application. The video demonstration can be viewed here: https://www.youtube.com/shorts/mWIXK-SWhiE.