Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions
作者: Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang
分类: cs.LG, cs.AI, cs.CL, cs.CV, cs.IT
发布日期: 2025-10-06
备注: NeurIPS 2025
💡 一句话要点
提出基于归一化流的高效高斯潜在空间偏信息分解方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 偏信息分解 多模态学习 高斯分布 归一化流 信息论 数据融合 梯度优化
📋 核心要点
- 现有偏信息分解方法在高维连续数据上计算代价高昂且精度不足，限制了其应用。
- 论文提出基于高斯分布的偏信息分解（GPID）方法，并设计高效的梯度优化算法。
- 通过学习信息保持编码器，将非高斯数据转换为高斯分布，扩展了方法的适用性，并在多个数据集上验证了其有效性。
📝 摘要（中文）
多模态研究在多个领域引起了广泛关注，在这些领域中，对多个信息源之间交互的分析可以增强预测建模、数据融合和可解释性。偏信息分解(PID)已经成为一个有用的信息论框架，用于量化各个模态独立、冗余或协同传递关于目标变量的信息的程度。然而，现有的PID方法依赖于优化受估计的成对概率分布约束的联合分布，这对于连续和高维模态来说是昂贵且不准确的。我们的第一个关键见解是，当成对分布是多元高斯分布时，该问题可以有效地解决，我们称这个问题为高斯PID(GPID)。我们提出了一种新的基于梯度的算法，该算法基于底层优化问题的替代公式，大大提高了GPID的计算效率。为了将适用性推广到非高斯数据，我们学习信息保持编码器，将任意输入分布的随机变量转换为成对高斯随机变量。在此过程中，我们解决了关于GPID联合高斯解的最优性的一个悬而未决的问题。在各种合成例子中的经验验证表明，我们提出的方法比现有的基线提供更准确和高效的PID估计。我们进一步评估了一系列大规模多模态基准，以展示其在多模态数据集中量化PID和选择高性能模型的实际应用中的效用。
🔬 方法详解
问题定义：现有的偏信息分解(PID)方法在处理连续和高维模态数据时，由于需要优化受估计的成对概率分布约束的联合分布，计算成本高昂且精度有限。尤其是在非高斯分布的情况下，问题更加复杂。因此，如何高效且准确地进行高维连续数据的偏信息分解是一个关键问题。
核心思路：论文的核心思路是将偏信息分解问题转化为高斯分布下的优化问题，即高斯PID(GPID)。通过将数据映射到高斯潜在空间，利用高斯分布的性质简化计算，并提出高效的梯度优化算法。此外，通过学习信息保持的编码器，将非高斯数据转换为高斯分布，从而扩展了方法的适用性。
技术框架：该方法主要包含以下几个阶段：1) 数据编码：使用信息保持编码器将原始数据映射到高斯潜在空间。2) 高斯PID计算：在高斯潜在空间中，利用提出的梯度优化算法计算偏信息分解。3) 结果分析：分析偏信息分解的结果，例如独立信息、冗余信息和协同信息。整体流程旨在将复杂的偏信息分解问题转化为在高斯空间中高效求解的问题。
关键创新：该方法最重要的技术创新点在于：1) 提出了基于高斯分布的偏信息分解方法(GPID)，简化了计算复杂度。2) 设计了高效的梯度优化算法，显著提高了计算效率。3) 解决了关于GPID联合高斯解的最优性的一个悬而未决的问题。与现有方法相比，该方法在高维连续数据上具有更高的计算效率和精度。
关键设计：关键设计包括：1) 信息保持编码器：使用归一化流(Normalizing Flows)学习数据到高斯潜在空间的映射，保证信息损失最小化。2) 梯度优化算法：设计特定的梯度更新策略，加速收敛并提高精度。3) 损失函数：采用合适的损失函数来训练编码器和优化高斯PID参数，例如基于互信息的损失函数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在合成数据集上能够提供比现有基线方法更准确和高效的PID估计。在大规模多模态基准测试中，该方法能够有效量化多模态数据集中的PID，并用于选择高性能模型。具体性能提升数据未知，但论文强调了效率和准确性的显著提升。
🎯 应用场景
该研究成果可应用于多模态数据分析、数据融合、特征选择和模型选择等领域。例如，在自动驾驶中，可以分析不同传感器（摄像头、激光雷达等）的信息冗余和互补性，从而优化传感器配置和提高感知性能。在医学诊断中，可以分析基因表达、影像数据等多种模态的信息，辅助疾病诊断和治疗方案制定。该方法具有广泛的应用前景，能够提升多模态数据分析的效率和准确性。
📄 摘要（原文）
The study of multimodality has garnered significant interest in fields where the analysis of interactions among multiple information sources can enhance predictive modeling, data fusion, and interpretability. Partial information decomposition (PID) has emerged as a useful information-theoretic framework to quantify the degree to which individual modalities independently, redundantly, or synergistically convey information about a target variable. However, existing PID methods depend on optimizing over a joint distribution constrained by estimated pairwise probability distributions, which are costly and inaccurate for continuous and high-dimensional modalities. Our first key insight is that the problem can be solved efficiently when the pairwise distributions are multivariate Gaussians, and we refer to this problem as Gaussian PID (GPID). We propose a new gradient-based algorithm that substantially improves the computational efficiency of GPID based on an alternative formulation of the underlying optimization problem. To generalize the applicability to non-Gaussian data, we learn information-preserving encoders to transform random variables of arbitrary input distributions into pairwise Gaussian random variables. Along the way, we resolved an open problem regarding the optimality of joint Gaussian solutions for GPID. Empirical validation in diverse synthetic examples demonstrates that our proposed method provides more accurate and efficient PID estimates than existing baselines. We further evaluate a series of large-scale multimodal benchmarks to show its utility in real-world applications of quantifying PID in multimodal datasets and selecting high-performing models.