MacJEPA: Missingness-Robust Audio-Visual Recognition from Untrimmed Egocentric Videos
作者: Souptik Sen, Zahra Ahmadi
分类: cs.CV
发布日期: 2026-10-06
💡 一句话要点
提出MacJEPA以解决长视频中的缺失模态问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 缺失模态 多模态融合 自我中心动作识别 鲁棒性学习
📋 核心要点
- 现有音频-视觉模型通常假设在推理时两个模态都可用，无法处理长视频中的传感器故障问题。
- 论文提出MacJEPA，通过重新定义模态缺失为时间局部的传感器故障，利用掩蔽技术增强模型的鲁棒性。
- 实验显示，MacJEPA在完整输入下表现竞争力，在缺失模态情况下超越了现有基线，展现出强大的鲁棒性。
📝 摘要（中文）
音频-视觉模型通过利用互补线索来改善自我中心动作识别，但通常假设在推理时两个流都可用。现有的缺失模态方法仅适用于修剪过的单事件片段，而真实传感器在长时间未修剪的观察中会出现故障并恢复。本文重新定义了自我中心模态缺失为在未修剪的多事件观察中时间局部的传感器故障，并提出了MacJEPA，这是一种缺失模态鲁棒的Masked-context query JEPA，能够从提供的音频-视觉上下文的区间查询中识别视觉动作和声学事件。通过在训练期间模拟窗口局部模态丢失，MacJEPA将JEPA中的掩蔽从自监督预训练转变为监督鲁棒性目标，优化了多模态内容标记和任务条件查询的掩蔽与清晰潜在表示。实验结果表明，MacJEPA在Epic-Kitchens-100和Epic-Sounds数据集上表现优异。
🔬 方法详解
问题定义：本文旨在解决在长时间未修剪视频中，音频和视觉模态缺失所带来的识别挑战。现有方法通常只处理修剪过的单事件片段，无法适应真实场景中的传感器故障。
核心思路：论文的核心思路是将模态缺失视为时间局部的传感器故障，并通过MacJEPA模型来增强对缺失模态的鲁棒性。通过在训练过程中模拟模态丢失，模型能够更好地适应真实场景中的变化。
技术框架：MacJEPA的整体架构包括多个模块，首先是音频和视觉模态的输入，然后是通过掩蔽技术生成的鲁棒性目标，最后是联合优化识别任务与鲁棒性目标的训练过程。
关键创新：MacJEPA的主要创新在于将掩蔽技术从自监督预训练转变为监督鲁棒性目标，这一设计使得模型在缺失模态情况下依然能够保持高效的识别能力。
关键设计：在模型设计中，采用了窗口局部模态丢失的策略，损失函数结合了掩蔽与清晰潜在表示的对齐，确保了多模态内容标记与任务条件查询的有效优化。具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MacJEPA在Epic-Kitchens-100和Epic-Sounds数据集上表现出色，单一模型在完整输入下保持竞争力，并在缺失模态情况下超越了现有的基线方法，展现出显著的鲁棒性提升。
🎯 应用场景
该研究的潜在应用场景包括智能监控、虚拟现实和增强现实等领域，能够在传感器故障或模态缺失的情况下，依然提供可靠的动作识别能力。这将极大提升相关技术在实际应用中的鲁棒性和适应性，推动多模态融合技术的发展。
📄 摘要（原文）
Audio-visual models improve egocentric action recognition by exploiting complementary cues, yet typically assume that both streams remain available at inference. Existing missing-modality methods operate on trimmed, single-event clips in which a stream is entirely present or absent, whereas real sensors fail and recover within long, untrimmed observations. We redefine egocentric modality missingness as temporally localized sensor outages within untrimmed, multi-event observations, with whole-clip absence as the limiting case. We introduce \textbf{MacJEPA}, a missing-modality-robust \textbf{Ma}sked-\textbf{c}ontext query \textbf{JEPA} that recognizes visual actions and acoustic events from supplied interval queries over audio-visual context. Window-local modality dropout simulates these sensor outages during training. MacJEPA further repurposes masking in JEPA from a self-supervised pretext into a supervised robustness objective, aligning masked and clean latent representations of both multimodal content tokens and the task-conditioned queries. All objectives are optimized jointly with recognition in a single stage, requiring no test-time adaptation. Across Epic-Kitchens-100 and Epic-Sounds, a single checkpoint remains competitive under complete input and consistently surpasses published missing-modality baselines when either the dominant or auxiliary stream is removed. MacJEPA thus unifies strong full-input recognition with temporal missing-modality robustness in a single model operating on untrimmed multi-event videos.