Live Assistant: Learning Whether, When, and Whom to Assist in Real-World Live Social Streams
作者: Shujian Gao, Jiamei Yan, Yuchen Yang, Penghao Zhou, Qinglei Wang, Tiehan Fan, Yuan Wang, Zuxuan Wu, Yu-gang Jiang
分类: cs.LG
发布日期: 2026-09-23
备注: under review
💡 一句话要点
提出Live Assistant框架以解决实时直播互动中的辅助决策问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 实时直播 辅助决策 多模态学习 自回归策略 轨迹引擎 用户互动 智能助手
📋 核心要点
- 现有方法在实时直播中难以有效识别和响应观众的多样化辅助需求，导致互动体验不足。
- 论文提出的Live Assistant框架通过四个决策（是否、何时、针对谁、沟通内容）来优化直播中的辅助决策，增强互动性。
- 实验结果显示，Live Assistant在多个准确率指标上超越了现有流媒体和多模态基线，验证了其有效性。
📝 摘要（中文）
直播是一个长期的互动环境，其中音视频内容、观众活动、主持人行为和平台信号共同演变，产生来自直播本身的辅助需求。我们提出了Live Assistant框架，旨在通过四个相互关联的决策（是否行动、何时行动、针对谁、沟通内容）来实现混合主动、角色条件的辅助。在每10秒的时间间隔内，框架利用自回归策略处理原生音视频、同步评论、礼物、观众动态和房间元数据，选择不同的辅助模式。为支持这一任务，我们构建了轨迹引擎，将真实直播会话重构为结构化因果监督，提供了超过320小时的优化轨迹和275个剪辑、13,812个决策间隔的人类审核基准。通过Marker-Aware Multiturn Supervised Fine-Tuning和Streaming Multiturn GSPO训练策略，Live Assistant在基准测试中达到了71.14的状态准确率、72.67的接收者准确率和58.41的任务准确率，表现优于代表性的流媒体和多模态基线。
🔬 方法详解
问题定义：本论文旨在解决实时直播中如何有效识别和响应观众的辅助需求的问题。现有方法往往无法适应直播环境的动态变化，导致辅助决策的时效性和准确性不足。
核心思路：论文提出的Live Assistant框架通过将直播互动视为四个相互关联的决策，利用自回归策略和轨迹引擎来优化辅助决策过程，从而提升用户体验。
技术框架：整体架构包括数据采集模块（处理音视频、评论等）、决策模块（选择辅助模式）、轨迹引擎（重构直播会话）和训练模块（使用MA-MSFT和SM-GSPO进行训练）。
关键创新：最重要的创新在于将直播互动的辅助决策形式化为四个决策，并通过轨迹引擎提供结构化的因果监督，显著提升了决策的准确性与效率。
关键设计：在训练过程中，采用了Marker-Aware Multiturn Supervised Fine-Tuning来强化稀疏结构决策，随后使用Streaming Multiturn GSPO优化自生成轨迹，确保决策的连贯性和准确性。
🖼️ 关键图片
📊 实验亮点
在实验中，Live Assistant在状态准确率上达到了71.14，接收者准确率为72.67，任务准确率为58.41，均显著高于现有的流媒体和多模态基线，验证了其在复杂直播环境中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括在线教育、游戏直播、社交媒体互动等，能够为主播和观众提供更为个性化和及时的互动体验，提升整体直播质量。未来，该框架可扩展至更多实时互动场景，推动智能助手技术的发展。
📄 摘要（原文）
Livestreams are long-lasting interactive environments where audiovisual content, viewer activity, host behavior, and platform signals evolve together, creating assistance needs that emerge from the stream itself. We introduce \liveassistant, a framework for mixed-initiative, role-conditioned assistance that formulates livestream interaction as four coupled decisions: \textbf{whether to act, when to act, whom to address, and what to communicate}. At each 10-second interval, one autoregressive policy consumes native audio and video with synchronized comments, gifts, viewer dynamics, and room metadata, then selects \textsc{OBS}, \textsc{MEM}, or \textsc{ANS}. \textsc{OBS} remains silent, \textsc{MEM} records a private semantic update, and \textsc{ANS} specifies a recipient, task, and grounded message. To support this task, we build a trajectory engine that reconstructs real livestream sessions into structured causal supervision, yielding over 320 hours of optimization trajectories and a human-reviewed benchmark of 275 clips and 13,812 decision intervals. We train the policy with Marker-Aware Multiturn Supervised Fine-Tuning (MA-MSFT), which strengthens sparse structured decisions, followed by Streaming Multiturn GSPO (SM-GSPO), which optimizes self-generated trajectories with turn- and trajectory-level credit. On the held-out benchmark, \liveassistant reaches 71.14 state accuracy, 72.67 recipient accuracy, and 58.41 task accuracy, with consistent gains over representative streaming and general multimodal baselines. Together, the formulation, benchmark, and training framework establish livestream assistance as selective participation in a shared social stream.