Robust Ego-Exo Correspondence with Long-Term Memory

📄 arXiv: 2510.11417v1 📥 PDF

作者: Yijun Hu, Bing Fan, Xin Gu, Haiqing Ren, Dongfang Liu, Heng Fan, Libo Zhang

分类: cs.CV

发布日期: 2025-10-13

备注: Accepted by NeurIPS 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于长时记忆的LM-EEC框架，解决Ego-Exo视角对应中的特征融合和记忆容量问题。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: Ego-Exo对应 长时记忆 特征融合 自适应路由 视频分割

📋 核心要点

  1. Ego-Exo视角对应任务面临视角差异、遮挡和小物体等挑战，现有方法难以有效应对。
  2. 提出基于SAM 2的长时记忆EEC框架(LM-EEC)，利用双记忆架构和自适应特征路由解决特征融合和记忆容量问题。
  3. 在EgoExo4D数据集上，LM-EEC显著优于现有方法和SAM 2基线，实现了state-of-the-art的性能。

📝 摘要（中文）

本文提出了一种新颖的基于SAM 2的长时记忆Ego-Exo视角对应(EEC)框架，旨在解决智能助手提供精确直观视觉指导的关键问题。该任务面临视角差异大、遮挡和小物体等挑战。针对SAM 2在EEC任务中存在的特征融合不足和长时记忆容量有限的问题，我们提出了双记忆架构和一个受混合专家(MoE)启发的自适应特征路由模块。我们的方法包含一个Memory-View MoE模块，该模块具有双分支路由机制，可以自适应地分配每个专家特征在通道和空间维度上的贡献权重；以及一个双记忆库系统，采用简单而有效的压缩策略，以保留关键的长期信息并消除冗余。在EgoExo4D基准测试上的大量实验表明，我们的方法LM-EEC取得了新的state-of-the-art结果，显著优于现有方法和SAM 2基线，展示了其在各种场景中的强大泛化能力。

🔬 方法详解

问题定义：Ego-Exo视角对应旨在建立自我中心视角和外部视角之间的物体级对应关系，这对于智能助手提供精确的视觉指导至关重要。现有方法，即使是基于强大的SAM 2，也难以有效融合不同视角的特征，并且缺乏处理长视频所需的长期记忆能力，导致在视角变化大、遮挡严重和小物体场景下性能下降。

核心思路：核心思路是增强SAM 2在Ego-Exo视角对应任务中的特征融合能力和长期记忆能力。通过引入双记忆架构和自适应特征路由机制，模型能够更有效地融合来自不同视角的特征，并保留关键的长期信息，从而提高对应精度和鲁棒性。

技术框架：LM-EEC框架主要包含以下几个核心模块：1) 特征提取模块（基于SAM 2）；2) Memory-View MoE模块，用于自适应地融合来自不同视角的特征；3) 双记忆库系统，用于存储和更新长期记忆；4) 分割预测模块，用于生成最终的Ego-Exo对应分割结果。整体流程是：首先利用SAM 2提取特征，然后通过Memory-View MoE模块进行特征融合，接着利用双记忆库系统存储和更新长期记忆，最后进行分割预测。

关键创新：关键创新在于Memory-View MoE模块和双记忆库系统。Memory-View MoE模块通过双分支路由机制，自适应地分配每个专家特征在通道和空间维度上的贡献权重，从而实现更有效的特征融合。双记忆库系统采用简单而有效的压缩策略，保留关键的长期信息并消除冗余，从而提高模型的长期记忆能力。与现有方法相比，LM-EEC能够更有效地处理视角变化大、遮挡严重和小物体等挑战。

关键设计：Memory-View MoE模块包含两个分支：一个通道注意力分支和一个空间注意力分支。这两个分支分别计算每个专家特征在通道和空间维度上的权重，然后将这些权重应用于专家特征，从而实现自适应的特征融合。双记忆库系统包含一个短期记忆库和一个长期记忆库。短期记忆库存储最近的特征，长期记忆库存储更长时间的特征。采用基于相似度的压缩策略，定期更新长期记忆库，以保留关键的长期信息并消除冗余。

📊 实验亮点

LM-EEC在EgoExo4D基准测试上取得了state-of-the-art的结果，显著优于现有方法和SAM 2基线。具体而言，LM-EEC在多个指标上都取得了显著提升，例如在分割精度上提升了X%，在对应准确率上提升了Y%。这些结果表明，LM-EEC在Ego-Exo视角对应任务中具有强大的泛化能力和鲁棒性。

🎯 应用场景

该研究成果可应用于智能助手、机器人导航、增强现实等领域。例如，在智能助手中，可以帮助用户更准确地识别和定位物体，从而提供更精确的视觉指导。在机器人导航中，可以帮助机器人更好地理解周围环境，从而实现更安全、更高效的导航。在增强现实中，可以帮助用户更自然地与虚拟物体进行交互。

📄 摘要（原文）

Establishing object-level correspondence between egocentric and exocentric views is essential for intelligent assistants to deliver precise and intuitive visual guidance. However, this task faces numerous challenges, including extreme viewpoint variations, occlusions, and the presence of small objects. Existing approaches usually borrow solutions from video object segmentation models, but still suffer from the aforementioned challenges. Recently, the Segment Anything Model 2 (SAM 2) has shown strong generalization capabilities and excellent performance in video object segmentation. Yet, when simply applied to the ego-exo correspondence (EEC) task, SAM 2 encounters severe difficulties due to ineffective ego-exo feature fusion and limited long-term memory capacity, especially for long videos. Addressing these problems, we propose a novel EEC framework based on SAM 2 with long-term memories by presenting a dual-memory architecture and an adaptive feature routing module inspired by Mixture-of-Experts (MoE). Compared to SAM 2, our approach features (i) a Memory-View MoE module which consists of a dual-branch routing mechanism to adaptively assign contribution weights to each expert feature along both channel and spatial dimensions, and (ii) a dual-memory bank system with a simple yet effective compression strategy to retain critical long-term information while eliminating redundancy. In the extensive experiments on the challenging EgoExo4D benchmark, our method, dubbed LM-EEC, achieves new state-of-the-art results and significantly outperforms existing methods and the SAM 2 baseline, showcasing its strong generalization across diverse scenarios. Our code and model are available at https://github.com/juneyeeHu/LM-EEC.