ProbRes: Probabilistic Jump Diffusion for Open-World Egocentric Activity Recognition

📄 arXiv: 2504.03948v2 📥 PDF

作者: Sanjoy Kundu, Shanmukha Vellamcheti, Sathyanarayanan N. Aakur

分类: cs.CV

发布日期: 2025-04-04 (更新: 2025-10-10)

备注: Accepted to ICCV 2025. 17 pages, 6 figures, 3 tables

💡 一句话要点

ProbRes：基于概率跳跃扩散的开放世界自我中心活动识别

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 开放世界活动识别 自我中心视觉 概率模型 跳跃扩散 视觉-语言模型 常识推理 随机搜索

📋 核心要点

  1. 现有开放世界活动识别方法难以有效探索庞大的、未知的活动空间，导致识别精度受限。
  2. ProbRes利用跳跃扩散过程，结合常识先验和视觉-语言模型，在搜索空间中进行高效的概率搜索。
  3. 实验表明，ProbRes在多个数据集上取得了SOTA性能，并为开放世界活动识别建立了清晰的分类标准。

📝 摘要（中文）

开放世界自我中心活动识别由于其无约束的特性而面临根本性挑战，它要求模型从广阔的、部分观察到的搜索空间中推断出未见过的活动。我们引入了ProbRes，一个基于跳跃扩散的概率残差搜索框架，通过平衡先验引导的探索和似然驱动的利用来有效地导航这个空间。我们的方法整合了结构化的常识先验来构建语义连贯的搜索空间，使用视觉-语言模型(VLMs)自适应地细化预测，并采用随机搜索机制来定位高似然的活动标签，同时有效地最小化穷举枚举。我们系统地评估了ProbRes在多个开放级别(L0-L3)上的性能，证明了其对日益增长的搜索空间复杂性的适应性。除了在基准数据集(GTEA Gaze, GTEA Gaze+, EPIC-Kitchens, 和 Charades-Ego)上取得最先进的性能外，我们还为开放世界识别建立了一个清晰的分类法，描述了自我中心活动理解所必需的挑战和方法论进展。我们的结果强调了结构化搜索策略的重要性，为可扩展和高效的开放世界活动识别铺平了道路。

🔬 方法详解

问题定义：开放世界自我中心活动识别旨在识别在训练阶段未见过的活动。现有方法通常依赖于穷举搜索或简单的最近邻方法，这在面对庞大的活动空间时效率低下，且容易受到噪声干扰。痛点在于如何有效地探索未知的活动空间，并准确识别未见过的活动。

核心思路：ProbRes的核心思路是利用概率跳跃扩散过程，在活动标签的搜索空间中进行高效的探索。该方法结合了常识先验知识来构建语义连贯的搜索空间，并使用视觉-语言模型来指导搜索过程，从而在探索和利用之间取得平衡。通过随机跳跃，模型能够避免陷入局部最优，并探索更广阔的活动空间。

技术框架：ProbRes框架主要包含以下几个模块：1) 常识先验构建模块：利用结构化的常识知识（例如知识图谱）来构建活动标签的语义空间。2) 视觉-语言模型(VLM)模块：使用VLM将视觉信息映射到语义空间，并为活动标签分配初始概率。3) 跳跃扩散模块：通过随机跳跃和扩散过程，在语义空间中搜索高似然的活动标签。该模块使用马尔可夫链蒙特卡洛(MCMC)方法来采样活动标签。4) 预测细化模块：使用VLM对搜索到的活动标签进行细化，并输出最终的识别结果。

关键创新：ProbRes的关键创新在于其概率跳跃扩散搜索机制。与传统的穷举搜索或贪心搜索方法不同，ProbRes通过随机跳跃来探索活动空间，从而避免了陷入局部最优。此外，ProbRes还结合了常识先验知识和视觉-语言模型，从而提高了搜索效率和识别精度。这种结合使得模型能够更好地理解活动的语义信息，并做出更准确的预测。

关键设计：ProbRes的关键设计包括：1) 跳跃概率的设置：跳跃概率控制了搜索的探索程度。较高的跳跃概率可以使模型探索更广阔的活动空间，但也可能导致搜索效率降低。2) 扩散过程的参数设置：扩散过程的参数控制了搜索的平滑程度。较大的扩散参数可以使搜索更加平滑，但也可能导致模型忽略一些重要的活动标签。3) 视觉-语言模型的选择：VLM的选择对识别精度有重要影响。需要选择能够有效提取视觉信息并将其映射到语义空间的VLM。论文中具体使用的VLM类型未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ProbRes在GTEA Gaze, GTEA Gaze+, EPIC-Kitchens, 和 Charades-Ego等基准数据集上取得了state-of-the-art的性能。论文系统地评估了ProbRes在不同开放级别(L0-L3)上的性能，证明了其对日益增长的搜索空间复杂性的适应性。具体性能提升数据未知，但结果表明ProbRes优于现有方法。

🎯 应用场景

ProbRes可应用于智能家居、可穿戴设备、机器人等领域，提升设备对用户行为的理解能力。例如，智能家居系统可以利用ProbRes识别用户正在进行的活动，并自动调整环境设置。在医疗健康领域，ProbRes可用于监测患者的日常活动，并及时发现异常情况。该研究有助于实现更智能、更个性化的服务。

📄 摘要（原文）

Open-world egocentric activity recognition poses a fundamental challenge due to its unconstrained nature, requiring models to infer unseen activities from an expansive, partially observed search space. We introduce ProbRes, a Probabilistic Residual search framework based on jump-diffusion that efficiently navigates this space by balancing prior-guided exploration with likelihood-driven exploitation. Our approach integrates structured commonsense priors to construct a semantically coherent search space, adaptively refines predictions using Vision-Language Models (VLMs) and employs a stochastic search mechanism to locate high-likelihood activity labels while minimizing exhaustive enumeration efficiently. We systematically evaluate ProbRes across multiple openness levels (L0-L3), demonstrating its adaptability to increasing search space complexity. In addition to achieving state-of-the-art performance on benchmark datasets (GTEA Gaze, GTEA Gaze+, EPIC-Kitchens, and Charades-Ego), we establish a clear taxonomy for open-world recognition, delineating the challenges and methodological advancements necessary for egocentric activity understanding. Our results highlight the importance of structured search strategies, paving the way for scalable and efficient open-world activity recognition.