EndoWorld-JEPA: Motion-Guided Global-Local Latent World Modeling for Endoscopic Video Representation Learning
作者: Jie Wang, Shilong Yang, Tao Zhou, Juan Yu, Rong Qu, Jianfeng Ren, Zhicheng Zhang, Linlin Shen
分类: cs.CV
发布日期: 2026-10-20
💡 一句话要点
提出EndoWorld-JEPA以解决内窥镜视频表示学习中的动态建模问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 内窥镜视频 表示学习 动态建模 潜在状态预测 运动引导
📋 核心要点
- 现有的内窥镜视频预训练方法未能充分考虑视频中的动态变化，导致模型在处理状态转变时的表现不足。
- 本文提出EndoWorld-JEPA框架，通过因果运动引导的潜在状态预测，利用观察到的运动信息来提升内窥镜视频的表示学习效果。
- 实验结果显示，经过预训练的模型在多个下游任务中表现优异，验证了运动引导的全局-局部潜在预测的有效性。
📝 摘要（中文）
内窥镜视频包含由相机位移、可变形组织和仪器交互引起的状态转变，但现有的预训练方法对动态处理不够充分。受动作条件联合嵌入预测世界模型的启发，本文将被动的内窥镜视频预训练重新构建为因果运动引导的潜在状态预测。我们提出的EndoWorld-JEPA是首个针对通用内窥镜视频表示学习的潜在世界模型预训练框架。该模型通过观察到的运动来预测下一个潜在状态，而不是依赖于记录的动作或机器人运动学。实验结果表明，经过预训练的模型在四个下游基准测试中表现出色，验证了运动引导的全局-局部潜在预测作为有效的内窥镜视频预训练范式。
🔬 方法详解
问题定义：本文旨在解决内窥镜视频表示学习中对动态变化建模不足的问题。现有方法往往隐式处理动态，未能有效捕捉状态转变的细节。
核心思路：我们提出将内窥镜视频的预训练视为因果运动引导的潜在状态预测，利用观察到的运动信息来提高模型的预测能力。
技术框架：EndoWorld-JEPA框架包括光学运动引导模块、全局预测器和局部预测器。光学运动引导模块分离主位移与残余运动，并将其转化为有序的时间运动条件和空间局部运动权重。
关键创新：该框架的创新在于将运动引导的全局-局部潜在预测结合起来，允许模型在表示空间中学习可预测的视觉-运动动态，而无需重建随机的外观伪影。
关键设计：模型通过补丁级运动加权强调局部变化，同时保持解剖上下文，采用过去运动窗口的随机丢弃策略以减少对不可靠运动的依赖。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过EndoWorld-JEPA预训练的模型在四个下游基准测试中表现出色，显著提升了模型的迁移能力，验证了运动引导的全局-局部潜在预测的有效性。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、内窥镜手术辅助系统以及自动化诊断工具。通过提升内窥镜视频的表示学习能力，能够更好地支持临床决策和手术规划，具有重要的实际价值和未来影响。
📄 摘要（原文）
Endoscopic video contains state transitions induced by camera displacement, deformable tissue, and instrument interaction, yet existing pre-training methods treat dynamics implicitly. Inspired by action-conditioned joint-embedding predictive world models and by the observation that endoscopic optical flow contains both shared image-plane displacement and localized residual motion, we reformulate passive endoscopic video pre-training as causal motion-guided latent-state prediction. We present EndoWorld-JEPA, to our knowledge the first latent world-model pre-training framework designed for general-purpose endoscopic video representation learning. In place of recorded actions, calibrated poses, or robot kinematics, the model conditions prediction of the next latent state on motion observed up to the current state. Its Optical Motion-guided module separates dominant displacement from residual motion and converts the resulting evidence into an ordered temporal motion condition and spatial local-motion weights. Complementary global and motion-local predictors use these outputs: the temporal condition modulates both latent transitions, whereas the local weights define an auxiliary motion-local state that extends prediction from scene-level evolution to spatially selective dynamics. Patch-wise motion weighting emphasizes localized change while retaining anatomical context, and past-motion-window dropout randomly withholds the complete motion condition to reduce dependence on unreliable motion. This global--local formulation learns predictable visual--motion dynamics in representation space without reconstructing stochastic appearance artifacts. Evaluation shows that a common pre-trained checkpoint achieves strong transfer across four downstream benchmarks, supporting motion-guided global--local latent prediction as an effective pre-training paradigm for endoscopic video.