EgoVoice: Proactive Spoken Assistance from Egocentric Multimodal Streams
作者: Heeseung Kim
分类: cs.CL, cs.CV, cs.SD
发布日期: 2026-10-08
备注: Accepted to EMNLP 2026 (Main Conference). 25 pages, 12 figures, 11 tables. Project page: https://egocentricvoice.github.io/
💡 一句话要点
提出EgoVoice以解决主动语音助手的时机与内容选择问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动语音助手 第一人称视频 多模态流 源分离 语音重合成 用户偏好优化 增强现实 人机交互
📋 核心要点
- 现有的主动语音助手在何时发言和内容选择上存在不足，无法有效利用连续的第一人称视频和音频流。
- EgoVoice框架通过训练模型在每个时刻决定是否发言，结合源分离和语音重合成技术，提升了主动干预能力。
- 实验结果显示，EgoVoice在干预时机、内容相关性和用户偏好上均显著优于现有系统，展示了其有效性。
📝 摘要（中文）
可穿戴增强现实（AR）助手正朝着持续的现实世界交互发展，通过第一人称视频和音频感知用户活动，并在未被明确请求的情况下提供及时的语音指导。尽管主动视频助手、语音对话系统和第一人称任务理解各自取得了快速进展，但现有系统未能解决从连续第一人称流中决定何时发言和说什么的联合问题。我们提出了EgoVoice，一个用于训练和评估主动第一人称语音助手的框架。通过对真实人类讲师的HoloAssist视频录制进行源分离和语音重合成，我们构建了干净的音频流，并将每个视频会话转换为模型必须在每个时刻决定保持沉默或提供语音指导的格式。我们使用我们的数据对全模态大语言模型进行微调，并通过直接偏好优化进一步改善其主动干预行为。实验表明，现有系统很少产生时机良好、内容相关的主动干预，而EgoVoice在干预时机、内容相关性和人类偏好方面均有明显提升。
🔬 方法详解
问题定义：论文要解决的问题是如何从连续的第一人称视频和音频流中有效地决定何时发言和说什么。现有方法在主动干预的时机和内容选择上存在明显不足，无法满足用户的实时需求。
核心思路：论文的核心解决思路是构建EgoVoice框架，通过训练模型在每个时刻判断是否需要提供语音指导。该设计旨在提升语音助手的主动性和适应性，使其能够更好地理解用户的需求。
技术框架：EgoVoice的整体架构包括数据收集、音频流处理、模型训练和评估四个主要模块。首先，从HoloAssist视频中提取音频流，然后对其进行源分离和重合成，最后将处理后的数据用于训练全模态大语言模型。
关键创新：最重要的技术创新点在于将主动干预的时机选择与内容生成结合起来，形成一个统一的训练框架。这与现有方法的分离处理方式有本质区别，能够更好地适应动态环境中的用户需求。
关键设计：在模型训练中，采用了直接偏好优化的方法来提升模型的主动干预行为。此外，针对音频流的处理采用了先进的源分离技术，以确保音频质量和信息的准确传递。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EgoVoice在干预时机和内容相关性上均显著优于现有的零-shot基线，提升幅度达到XX%。具体而言，EgoVoice在用户偏好评分上提高了XX分，显示出其在实际应用中的有效性和优势。
🎯 应用场景
EgoVoice的研究成果在多个领域具有潜在应用价值，特别是在智能助手、增强现实和人机交互等场景中。通过提升语音助手的主动性和实时反应能力，可以显著改善用户体验，推动智能设备的普及与应用。未来，该技术可能会在教育、医疗和服务行业等领域发挥重要作用。
📄 摘要（原文）
Wearable augmented reality (AR) assistants are moving toward continuous real-world interaction, where they perceive the user's activity through first-person video and audio and provide timely spoken guidance without being explicitly asked. While proactive video assistants, spoken dialog systems, and egocentric task understanding have each advanced rapidly, existing systems do not address the joint problem of deciding when to speak and what to say from continuous first-person streams. We introduce EgoVoice, a framework for training and evaluating proactive egocentric spoken assistants. From HoloAssist video recordings of real human instructors, we construct clean audio streams through source separation and speech resynthesis, and convert each video session into a format where the model must decide at each moment whether to remain silent or provide spoken guidance. We fine-tune an omni-modal LLM with our data, and further improve its proactive intervention behavior with direct preference optimization. Experiments across closed and open-source models show that existing systems rarely produce well-timed, meaningful proactive interventions, while EgoVoice yields clear improvements in intervention timing, content relevance, and human preference over the zero-shot backbone.