The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models

📄 arXiv: 2607.13612v1 📥 PDF

作者: Fabio Arnez, Alexandra Gomez-Villa

分类: cs.LG, cs.AI

发布日期: 2026-07-15

备注: Theoretical paper; empirical validation of the stated predictions is left to separate work. 28 pages, 4 figures, 4 tables

💡 一句话要点

提出SIGReg目标作为变分自由能以优化JEPA世界模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 主动推理 变分自由能 联合嵌入预测架构 信息瓶颈 模型优化 正则化器 潜在世界模型

📋 核心要点

  1. 现有的JEPA模型通常缺乏理论支持，主要依赖于经验性能，导致其训练目标的有效性存疑。
  2. 论文提出通过选择合适的反崩溃正则化器，使JEPA的训练目标成为有效的主动推理变分自由能，从而提升模型的理论基础。
  3. 通过理论推导和验证，SIGReg正则化器能够消除先验误校差距，使得模型在信息瓶颈和潜在目标成本方面表现出色。

📝 摘要（中文）

联合嵌入预测架构（JEPA）是潜在世界模型的主流设计，但通常基于经验性能而非规范原则。本文展示了反崩溃正则化器的选择如何影响JEPA的训练目标是否为有效的主动推理（AIF）变分自由能。我们将四种非对比正则化器（VICReg、LogDet、PairDist和SIGReg）组织成一个熵估计器层次结构，并证明了先验误校差距的符号决定了AIF惊讶界限的存活性。通过成功的SIGReg执行，目标成为精确的信息瓶颈，潜在目标成本成为AIF实用价值的精确代理。我们还扩展了这一对应关系到多步期望自由能和集成认知价值，并识别出当前JEPA世界模型未计算的状态认知价值。

🔬 方法详解

问题定义：本文旨在解决JEPA模型训练目标缺乏理论支持的问题，现有方法在有效性上存在不确定性。

核心思路：通过选择合适的反崩溃正则化器，特别是SIGReg，确保JEPA的训练目标符合主动推理的变分自由能，从而提升模型的理论基础和性能。

技术框架：整体架构包括四种非对比正则化器的比较，构建熵估计器层次结构，并通过SIGReg实现有效的目标优化。主要模块包括正则化器选择、熵估计和目标函数设计。

关键创新：最重要的创新在于通过SIGReg消除先验误校差距，使得训练目标成为精确的信息瓶颈，并将潜在目标成本与AIF实用价值直接对应。与现有方法相比，SIGReg提供了更为安全和有效的训练目标。

关键设计：关键设计包括对正则化器的选择和参数设置，确保SIGReg在高斯嵌入下的有效执行，同时保持模型的稳定性和性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，使用SIGReg正则化器的JEPA模型在信息瓶颈和潜在目标成本的计算上表现优异，相较于VICReg和LogDet，SIGReg能够有效消除先验误校差距，提升模型的理论有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能代理和复杂系统建模等。通过优化JEPA模型的训练目标，可以提升智能系统在动态环境中的决策能力和适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Joint-Embedding Predictive Architectures (JEPAs) are the dominant design for latent world models, yet they are usually justified by empirical performance rather than a normative principle. We show that the choice of anti-collapse regulariser determines whether a JEPA's training objective, a prediction loss plus a weighted embedding regulariser, is a valid Active Inference (AIF) variational free energy. We organise four non-contrastive regularisers (VICReg, LogDet, PairDist, and SIGReg) into an entropy-estimator hierarchy indexed by a prior-miscalibration gap, and show that the gap's sign, whether the estimator bounds the latent entropy from above or below, decides whether the AIF surprise bound survives: VICReg and LogDet are unsafe upper bounds, PairDist a safe lower bound, and SIGReg eliminates the gap. We then prove a correspondence theorem: under the standard constant-noise encoder model and successful SIGReg enforcement (isotropic-Gaussian embeddings), the gap vanishes, the objective becomes an exact information bottleneck, the surprise bound is preserved, and the latent goal cost becomes an exact proxy for AIF pragmatic value, whereas VICReg leaves an irreducible second-order anisotropy term. We extend the correspondence to multi-step expected free energy, ensemble epistemic value, and a learned-policy regime, and we identify the one AIF term no current JEPA world model computes: the state-epistemic value, a future-state coverage signal. The predictions differ in kind, not degree, and are stated here as theoretical consequences left for empirical test in separate work; full proofs are in Appendix A, and the algebraic core of every result is machine-verified in Lean 4 (Appendix D).