EgoEdit: Dataset, Real-Time Streaming Model, and Benchmark for Egocentric Video Editing
作者: Runjia Li, Moayed Haji-Ali, Ashkan Mirzaei, Chaoyang Wang, Arpit Sahni, Ivan Skorokhodov, Aliaksandr Siarohin, Tomas Jakab, Junlin Han, Sergey Tulyakov, Philip Torr, Willi Menapace
分类: cs.CV, cs.AI
发布日期: 2025-12-05
备注: Project page: https://snap-research.github.io/EgoEdit
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
EgoEdit：用于第一人称视频编辑的数据集、实时模型与评测基准
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 第一人称视频编辑 指令引导编辑 实时视频编辑 数据集 评测基准
📋 核心要点
- 现有视频编辑方法在第一人称视角下，由于快速运动和手部交互，效果不佳。
- EgoEdit通过构建数据集、设计实时模型和评测基准，解决第一人称视频编辑问题。
- EgoEdit在第一人称编辑任务上显著优于现有方法，并保持了通用编辑任务的竞争力。
📝 摘要（中文）
本文研究了交互式AR应用中，指令引导的第一人称视频编辑。虽然现有的AI视频编辑器在第三人称视角素材上表现良好，但第一人称视角由于快速的自我运动和频繁的手部-物体交互，带来了独特的挑战，造成了显著的领域差距。此外，现有的离线编辑流程延迟较高，限制了实时交互。为了解决这些问题，本文提出了一个完整的第一人称视频编辑生态系统。首先，构建了EgoEditData，一个精心设计和手动策划的数据集，专门用于第一人称编辑场景，具有丰富的手部-物体交互，并明确保留了手部。其次，开发了EgoEdit，一个指令跟随的第一人称视频编辑器，支持在单个GPU上进行实时流推理。最后，引入了EgoEditBench，一个评估套件，针对指令忠实度、手部和交互保留以及自我运动下的时间稳定性。在第一人称和通用编辑任务中，EgoEdit产生了时间稳定、指令忠实的结果，并具有交互式延迟。它在第一人称编辑基准测试中取得了明显的优势，而现有方法难以胜任，同时在通用编辑任务中保持了与最强基线相当的性能。EgoEditData和EgoEditBench将向研究社区公开。
🔬 方法详解
问题定义：论文旨在解决第一人称视角视频的指令引导编辑问题，特别是针对交互式AR应用。现有视频编辑方法主要针对第三人称视角，无法很好地处理第一人称视角视频中常见的快速自我运动、频繁手部-物体交互等复杂情况，导致编辑效果不佳，且延迟较高，难以满足实时交互的需求。
核心思路：论文的核心思路是构建一个完整的第一人称视频编辑生态系统，包括数据集、实时模型和评测基准，从而系统性地解决第一人称视频编辑的挑战。通过专门的数据集来训练模型，使其更好地理解和处理第一人称视角的特点；通过设计实时模型来降低延迟，实现交互式编辑；通过评测基准来客观地评估编辑效果。
技术框架：EgoEdit的整体框架包含三个主要组成部分：EgoEditData数据集、EgoEdit实时编辑模型和EgoEditBench评测基准。EgoEditData是一个专门为第一人称视频编辑设计的，包含丰富手部-物体交互的数据集。EgoEdit模型是一个指令跟随的视频编辑器，能够根据用户指令对第一人称视频进行编辑，并支持在单个GPU上进行实时流推理。EgoEditBench是一个评估套件，用于评估编辑结果的指令忠实度、手部和交互保留以及时间稳定性。
关键创新：论文的关键创新在于构建了一个完整的第一人称视频编辑生态系统，并针对第一人称视角的特点进行了专门的设计。EgoEditData数据集的构建考虑了手部-物体交互的丰富性和手部的明确保留，这使得模型能够更好地学习手部和物体的关系。EgoEdit模型的设计考虑了实时性，能够在单个GPU上进行实时流推理，从而实现交互式编辑。EgoEditBench评测基准的设计考虑了第一人称视角的特殊性，包括自我运动下的时间稳定性。
关键设计：论文中关于EgoEdit模型的具体网络结构、损失函数等技术细节未详细描述，属于未知信息。但可以推测，模型可能采用了某种形式的Transformer架构，以捕捉视频中的时序信息和指令信息。损失函数可能包括指令忠实度损失、手部和交互保留损失以及时间稳定性损失。具体参数设置也属于未知信息。
🖼️ 关键图片
📊 实验亮点
EgoEdit在第一人称编辑基准测试中取得了显著的优势，超越了现有方法。同时，在通用编辑任务中，EgoEdit保持了与最强基线相当的性能。这些结果表明，EgoEdit能够有效地处理第一人称视频编辑的挑战，并具有良好的泛化能力。具体的性能数据和提升幅度需要在论文中查找。
🎯 应用场景
该研究成果可应用于AR/VR、机器人等领域。例如，在AR游戏中，用户可以通过语音指令实时修改第一人称视角的游戏画面；在机器人辅助操作中，可以通过指令引导机器人完成特定任务，并实时调整机器人的动作。该研究有助于提升人机交互的自然性和效率，具有广阔的应用前景。
📄 摘要（原文）
We study instruction-guided editing of egocentric videos for interactive AR applications. While recent AI video editors perform well on third-person footage, egocentric views present unique challenges - including rapid egomotion and frequent hand-object interactions - that create a significant domain gap. Moreover, existing offline editing pipelines suffer from high latency, limiting real-time interaction. To address these issues, we present a complete ecosystem for egocentric video editing. First, we construct EgoEditData, a carefully designed and manually curated dataset specifically designed for egocentric editing scenarios, featuring rich hand-object interactions, while explicitly preserving hands. Second, we develop EgoEdit, an instruction-following egocentric video editor that supports real-time streaming inference on a single GPU. Finally, we introduce EgoEditBench, an evaluation suite targeting instruction faithfulness, hand and interaction preservation, and temporal stability under egomotion. Across both egocentric and general editing tasks, EgoEdit produces temporally stable, instruction-faithful results with interactive latency. It achieves clear gains on egocentric editing benchmarks-where existing methods struggle-while maintaining performance comparable to the strongest baselines on general editing tasks. EgoEditData and EgoEditBench will be made public for the research community. See our website at https://snap-research.github.io/EgoEdit