Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos
作者: Gong Sitong, Tianyu Yan, Caixin Kang, Bo Zheng, Xiang Ruan, Huchuan Lu, Kaipeng Zhang, Yoichi Sato, Yifei Huang
分类: cs.CV, cs.AI
发布日期: 2026-07-13
备注: Accepted by ECCV 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Vinci2以解决主动辅助在连续自我中心视频中的挑战
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 主动辅助 自我中心视频 上下文理解 记忆增强 智能助手 多模态学习 时间推理
📋 核心要点
- 现有方法往往被动等待用户提问，未能有效利用连续自我中心视频中的丰富上下文信息。
- 论文提出Vinci2系统，通过上下文依赖的决策机制，实现主动辅助，提升用户体验。
- 实验结果表明，EgoMemo在EgoServe基准上建立了强基线，并在现有自我中心基准上保持竞争力。
📝 摘要（中文）
在何时智能助手应主动发言而非被动响应？连续自我中心视频提供了丰富的上下文，使得主动辅助成为可能。然而，现有方法往往被动等待用户提问，或对每个检测到的事件都作出反应，而未考虑用户的历史、当前活动或是否欢迎干预。我们将主动辅助重新定义为一个依赖上下文的决策问题，代理不仅要感知发生的事情，还需基于累积的时间上下文推理何时以及是否介入。为此，我们提出了Vinci2，一个主动的自我中心辅助系统，推动了从被动响应向主动性的转变。我们还提出了EgoServe，这是第一个大规模的主动辅助基准，包含3000多个服务实例，涵盖10个服务类别。
🔬 方法详解
问题定义：论文要解决的问题是如何在连续自我中心视频中实现主动辅助。现有方法往往被动响应用户请求，未能充分利用上下文信息，导致用户体验不佳。
核心思路：论文的核心思路是将主动辅助视为一个依赖上下文的决策问题，代理需要感知当前情况并基于历史上下文推理何时介入。通过这种方式，Vinci2能够在适当时机提供帮助，而不是被动等待。
技术框架：整体架构包括EgoMemo模块，该模块维护三种互补的记忆表示：多尺度时间摘要、语义知识图谱和视觉嵌入档案。每个时间步，EgoMemo执行检索增强推理，以判断是否需要提供辅助。
关键创新：最重要的技术创新点在于EgoMemo的设计，它是一个无训练的记忆增强代理，能够在不同时间尺度上进行推理，显著提升了主动辅助的效果。与现有方法相比，EgoMemo能够更好地理解用户的上下文。
关键设计：EgoMemo的设计包括多尺度时间摘要的生成、语义知识图谱的构建以及视觉嵌入的存储。具体的参数设置和损失函数设计未在摘要中详细说明，需参考完整论文以获取更多技术细节。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EgoMemo在EgoServe基准上建立了强基线，表现优异，且在现有自我中心基准上也保持了竞争力。具体性能数据和提升幅度需参考完整论文以获取详细信息。
🎯 应用场景
该研究的潜在应用领域包括智能家居、个人助理和安全监控等场景。通过主动辅助，用户能够在日常活动中获得及时的支持，提升生活质量和安全性。未来，该技术有望在更多领域得到应用，推动智能助手的智能化和人性化发展。
📄 摘要（原文）
When should an intelligent assistant speak up without being asked? Continuous egocentric video offers rich, evolving context that enables a new form of assistance: one that is proactive rather than merely reactive. Yet existing approaches either wait passively for user queries or treat every detected event as requiring a response, without considering the user's history, current activity, or whether assistance would actually be welcome. We reframe proactive assistance as a context-dependent decision problem: the agent must not only perceive what is happening, but reason over accumulated temporal context to determine when and whether to intervene. To this end, we present Vinci2, a proactive egocentric assistance system that advances the on-device assistant Vinci from reactive response toward proactivity. On the evaluation side, we present EgoServe, the first large-scale benchmark for proactive assistance in continuous egocentric video. EgoServe comprises over 3,000 service instances organized along 4 temporal memory horizons, ranging from immediate safety alerts to long-term habit coaching, across 10 service categories. On the modeling side, we propose EgoMemo, a training-free, memory-augmented agent that maintains three complementary memory representations: multi-scale temporal summaries, a semantic knowledge graph, and visual embedding archives. At each timestep, EgoMemo performs retrieval-augmented reasoning to determine whether assistance is warranted and, if so, produces contextually grounded responses. Experiments demonstrate that EgoMemo establishes strong baselines on EgoServe while remaining competitive on existing egocentric benchmarks. Our benchmark and code are publicly available at \href{https://sitonggong.github.io/EgoServe-page/}{Vinci2}.