JEPA-Anything: Learning Predictive Models across Different Worlds

📄 arXiv: 2609.20800v1 📥 PDF

作者: Taoyong Cui, Zhongyao Wang, Xinyue Xu, Weiyang Liu, Zhaochen Yu, Yuying Zhang, Qiang Gao, Mengyue Yang, Wanli Ouyang, Pheng Ann Heng, Yingcheng Wu, Zhenfei Yin, Ling Yang

分类: cs.CL

发布日期: 2026-09-17

备注: Code: https://github.com/Gen-Verse/JEPA-Anything

🔗 代码/项目: GITHUB

💡 一句话要点

提出JEPA-Anything以解决跨领域预测模型的局限性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨领域学习 预测模型 正交预测因子分解 智能体 动态任务

📋 核心要点

  1. 现有的预测模型通常局限于特定领域，缺乏跨领域的通用性，限制了智能体的适应能力。
  2. JEPA-Anything通过正交预测因子分解（OPF）实现了领域无关的预测模型，能够在不同系统间共享学习原则。
  3. 实验结果表明，JEPA-Anything在10个动态任务上均优于基线方法，并在多个领域中实现了显著的误差降低。

📝 摘要（中文）

世界建模使智能体能够预测后果、指导干预并从交互中学习。然而，现有的预测模型通常是领域特定的。本文提出JEPA-Anything，一个基于正交预测因子分解（OPF）的领域无关框架。OPF将潜在目标分解为互补因子，通过专门的路径进行学习，并在共享的预测设计中重新组合。我们在七个领域评估JEPA-Anything，包括视觉、生物学、临床轨迹、控制、分子动力学、物理场和天气。实验结果显示，JEPA-Anything在所有10个动态任务上提升了性能，并在干预预测中显著降低了误差。

🔬 方法详解

问题定义：本文旨在解决现有预测模型的领域特定性问题，现有方法在跨领域应用时表现不佳，限制了智能体的学习和适应能力。

核心思路：JEPA-Anything提出了一种基于正交预测因子分解（OPF）的框架，通过将潜在目标分解为互补因子，利用专门的学习路径进行训练，从而实现跨领域的预测能力。

技术框架：该框架包括多个模块，首先通过OPF对潜在目标进行因子分解，然后通过不同的学习路径进行训练，最后在共享的预测设计中重新组合这些因子，以实现更准确的预测。

关键创新：JEPA-Anything的核心创新在于其正交预测因子分解方法，能够有效地将不同领域的预测任务整合到一个统一的框架中，显著提升了模型的通用性和预测能力。

关键设计：在设计中，采用了特定的损失函数来优化因子学习过程，并在网络结构上实现了模块化设计，以便于不同领域的适配和扩展。具体的参数设置和网络层次结构在实验中经过调优，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，JEPA-Anything在10个动态任务上均超越了基线JEPA方法，特别是在Interventional Pong任务中，单次干预预测误差降低了34.8%。此外，在四个系统中，其分子预测的单步和100步误差均为最低，显示出其卓越的预测能力。

🎯 应用场景

JEPA-Anything的研究成果具有广泛的应用潜力，尤其是在需要跨领域预测和干预的场景中，如医疗健康、环境监测和智能控制等领域。其通用框架能够为不同系统提供一致的预测能力，推动科学发现和智能决策的发展。

📄 摘要（原文）

World modeling enables intelligence to anticipate consequences, guide interventions, and learn from interaction. Yet predictive models remain domain-specific: can a common learning principle support world modeling across radically different systems? We introduce JEPA-Anything, a domain-agnostic framework based on orthogonal predictive factorization (OPF). Extending joint-embedding predictive architectures, OPF decomposes latent targets into complementary factors, learns them through dedicated pathways, and recombines them within a shared predictive design. We evaluate JEPA-Anything across seven domains: vision, biology, clinical trajectories, control, molecular dynamics, physical fields, and weather. Experiments span representation learning, intervention prediction, out-of-distribution generalization, and long-horizon dynamics, including 10 matched dynamics tasks, forecasting of over 1,000 clinical events, and 100-step molecular rollouts across four systems. Against matched JEPA baselines, JEPA-Anything improves reported metrics on all 10 dynamics tasks and reduces single-intervention prediction error on Interventional Pong by 34.8%. It achieves the lowest one-step and 100-step molecular errors among compared methods in all four systems. Beyond prediction, a factor-nominated biological intervention receives experimental support in cell co-cultures, patient-derived organoids, tumor fragments, and mice; latent orbital modes recover the Keplerian scaling exponent with a fitted slope of -1.4991. These results support a common factorized predictive principle across heterogeneous worlds, connecting world modeling with intervention and experimentally grounded scientific discovery. Code: https://github.com/Gen-Verse/JEPA-Anything