Ego-Forge: Text and Geometric-Attention Free Exo-to-Egocentric Video Generation
作者: Mohammad Mahdi, Luc Van Gool, Danda Pani Paudel
分类: cs.CV
发布日期: 2026-09-28
💡 一句话要点
提出Ego-Forge以解决无文本和几何偏差的视角转换视频生成问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 视频生成 第一人称视角 深度学习 动态条件生成 跨视角对应 虚拟现实 增强现实
📋 核心要点
- 现有方法在进行视角转换时，通常需要额外的输入，如真实的第一人称帧或多个同步的第三人称视角，限制了其应用范围。
- Ego-Forge提出了一种无文本和无几何偏差的生成框架，利用动态生成条件令牌来替代外部文本条件，从而简化了生成过程。
- 该模型在Ego-Exo4D数据集上实现了最先进的性能，运行速度更快，且无需外部注释，能够有效泛化到复杂的野外场景。
📝 摘要（中文）
本研究聚焦于从第三人称视频生成第一人称视角视频，旨在合成个体所见的内容。现有方法通常需要额外的输入，如真实的第一人称帧或多个同步的第三人称视角，且在类别特定设置中表现有限。EgoX虽然首次实现了跨活动和野外场景的泛化，但在推理时仍需人工提供不存在的第一人称视角的描述，并引入了计算开销大的几何引导注意力偏差，可能导致重建误差。为此，我们提出了Ego-Forge，一个无文本和无偏差的框架，通过动态生成条件令牌，直接从模型的隐藏状态中提取，并适应扩散时间步和网络深度，从而取代外部文本条件。Ego-Forge在Ego-Exo4D上实现了最先进的性能，运行速度更快，推理时无需外部注释，并且能够泛化到野外场景。
🔬 方法详解
问题定义：本论文旨在解决从第三人称视频生成第一人称视角视频的问题。现有方法通常依赖于额外的输入，限制了其在实际应用中的灵活性和效率。
核心思路：Ego-Forge的核心思路是通过动态生成条件令牌，直接从模型的隐藏状态中提取信息，避免了对外部文本的依赖，同时消除了几何引导注意力的偏差，降低了重建误差的风险。
技术框架：Ego-Forge的整体架构包括输入的第三人称视频、动态生成的条件令牌以及生成的第一人称视角视频。模型通过深度学习网络进行训练，学习跨视角的对应关系。
关键创新：Ego-Forge的最重要创新在于其无文本和无几何偏差的生成方式，通过动态条件令牌的引入，显著提升了生成的灵活性和准确性，与现有方法相比，减少了对几何信息的依赖。
关键设计：在技术细节方面，Ego-Forge采用了轻量级的深度先验，并通过大规模训练来提升模型的泛化能力。损失函数设计上，重点关注生成内容的视觉一致性和语义准确性。整体网络结构经过优化，以适应不同的扩散时间步和网络深度。
🖼️ 关键图片
📊 实验亮点
Ego-Forge在Ego-Exo4D数据集上实现了最先进的性能，显著提升了生成速度，且在推理过程中无需外部注释。与现有方法相比，该模型在复杂场景下的泛化能力更强，能够有效处理多样化的输入情况。
🎯 应用场景
Ego-Forge的研究成果在多个领域具有潜在应用价值，包括虚拟现实、增强现实和游戏开发等。通过生成真实感的第一人称视角视频，该技术可以提升用户体验，并在训练机器人和自动驾驶系统时提供更为丰富的视觉数据，推动相关领域的发展。
📄 摘要（原文）
Exo-to-egocentric video generation aims to synthesize what a person sees from their own viewpoint given third-person footage and a target head trajectory. The task requires transferring appearance and semantics across large viewpoint changes while hallucinating content never observed by the exocentric camera. Existing approaches either impose additional input requirements, such as a ground-truth initial egocentric frame or multiple synchronized exocentric views, or remain limited to category-specific settings. EgoX is the first to address cross-activity and in-the-wild generalization, but requires a human-provided caption of the non-existent egocentric view at inference and introduces a computationally expensive geometry-guided attention bias that can propagate reconstruction errors and suppress textual and visual context. We therefore propose \textbf{Ego-Forge}, a caption-free and bias-free framework for exo-to-egocentric generation. It introduces \textit{Dynamic Captioning}, which derives conditioning tokens directly from the model's hidden states and adapts them to the diffusion timestep and network depth, replacing external text conditioning. By scaling training by an order of magnitude and using all available exocentric viewpoints, Ego-Forge learns cross-view correspondence implicitly and eliminates the need for geometry-guided attention, requiring only a lightweight depth prior. Ego-Forge achieves state-of-the-art performance on Ego-Exo4D, runs faster end-to-end, requires no external annotation at inference, and generalizes to in-the-wild scenes, including cases where over-reliance on geometry blocks appearance inference. Our model and source code will be made publicly available.