VR-JEPA: Learning Contrastive-State Latent Guidance for Generation-based Video Reasoning

📄 arXiv: 2609.40129v1 📥 PDF

作者: Zehua Ma, Kun Xiang, Yunshuang Nie, Quanlin Chen, Haoyuan Li, Xiuwei Chen, Jiang Ji, Haijun Wu, Zhenyu Xie, Michael Kampffmeyer, Hanhui Li, Xiaodan Liang

分类: cs.CV

发布日期: 2026-09-30

💡 一句话要点

提出VR-JEPA以解决视频生成中的推理一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频生成 推理一致性 对比学习 潜在状态 时空先验 技能特定专家 视觉智能

📋 核心要点

  1. 现有视频生成模型缺乏对潜在状态演变的明确指导，导致生成的轨迹不可靠。
  2. 本文提出VR-JEPA框架，通过对比状态学习对V-JEPA进行任务特定的推理逻辑对齐，提升视频生成的逻辑一致性。
  3. 在VBVR-Pro-Bench数据集上，VR-JEPA相较于基线模型实现了11.33%的相对提升，显著改善了生成质量。

📝 摘要（中文）

通过视频生成进行推理为视觉智能提供了一条有前景的路径，但现有模型缺乏对潜在视觉状态演变的明确指导，导致生成轨迹存在物理和结构不一致的问题。为了解决这一挑战，本文提出了VR-JEPA框架，通过局部对比状态学习将V-JEPA预测器与特定任务的推理逻辑对齐，并利用其预测的潜在轨迹指导视频生成。实验结果表明，VR-JEPA在VBVR-Pro-Bench数据集上相较于最先进的生成推理基线实现了11.33%的相对提升，显著减轻了物理伪影并增强了逻辑一致性。

🔬 方法详解

问题定义：本文旨在解决现有视频生成模型在推理过程中缺乏对潜在状态演变的明确指导，导致生成轨迹存在物理和结构不一致的问题。现有的V-JEPA虽然提供了丰富的时空先验，但无法适应复杂视觉任务所需的逻辑推理能力。

核心思路：VR-JEPA通过局部对比状态学习，将V-JEPA预测器与特定任务的推理逻辑对齐，利用预测的潜在轨迹指导视频生成。这种设计旨在增强生成过程中的逻辑一致性和可靠性。

技术框架：VR-JEPA的整体架构包括两个主要模块：一是通过对比学习识别信息状态和标记，二是结合技能特定专家对V-JEPA进行训练，以适应不同的认知领域。

关键创新：VR-JEPA的核心创新在于引入了局部对比状态学习和技能特定专家，使得模型能够在多样化的任务中自适应地调整其共享的时空先验。这一方法与传统的生成模型相比，显著提高了推理的逻辑性。

关键设计：在模型设计中，采用了特定的损失函数来强化对比学习的效果，并通过技能特定专家的训练，提升了模型在不同任务上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在大规模VBVR-Pro-Bench数据集上的实验结果显示，VR-JEPA相较于最先进的生成推理基线实现了11.33%的相对提升，显著减轻了生成过程中的物理伪影，并增强了逻辑一致性，展示了其在视频生成推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、虚拟现实等场景，能够提升系统在复杂环境下的推理能力和决策质量。未来，VR-JEPA可能在多模态学习和人机交互等领域发挥重要作用，推动视觉智能的发展。

📄 摘要（原文）

Reasoning through video generation offers a promising path toward visual intelligence by modeling latent visual states and their dynamics. However, current video generation models often lack explicit guidance on how these states should evolve, leaving generated trajectories prone to physical and structural inconsistencies that undermine reasoning reliability. While the Video Joint-Embedding Predictive Architecture (V-JEPA) provides rich spatiotemporal priors learned through latent prediction, these general priors do not naturally adapt to the logical reasoning capabilities required for complex visual tasks. To bridge this gap, we propose VR-JEPA, a framework that aligns the V-JEPA predictor with task-specific reasoning logic through localized contrastive-state learning and uses its predicted latent trajectories to guide video generation for visual reasoning. Specifically, (i) we pair successful trajectories with generated alternatives under the same input conditions and use discrepancies in their V-JEPA representations to identify informative states and tokens for localized contrastive supervision. (ii) We further equip the V-JEPA predictor with skill-specific experts trained on anchor-task data, allowing the model to adaptively specialize its shared spatiotemporal priors across diverse cognitive domains. Together with skill-specific experts, this contrastive supervision enables VR-JEPA to predict latent trajectories that provide task-specific logical guidance for video generation. Comprehensive experiments on the large-scale VBVR-Pro-Bench dataset demonstrate that VR-JEPA achieves an $11.33\%$ relative improvement over the cutting-edge generation-based reasoning baseline, significantly mitigating physical artifacts and enhancing logical consistency.