Tensor Generalized Approximate Message Passing

📄 arXiv: 2504.00008v1 📥 PDF

作者: Yinchuan Li, Guangchen Lan, Xiaodong Wang

分类: cs.LG, cs.AI, cs.IT

发布日期: 2025-03-25

💡 一句话要点

提出张量广义近似消息传递算法（TeG-AMP）用于低秩张量推断，解决张量补全和分解问题。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 张量分解 张量补全 近似消息传递 低秩张量推断 置信传播

📋 核心要点

  1. 现有张量补全和分解方法难以充分利用张量结构信息，导致恢复性能受限。
  2. 论文提出TeG-AMP算法，通过近似和积置信传播，有效利用张量结构进行低秩张量推断。
  3. 实验结果表明，TeG-AMP算法在张量恢复性能上显著优于现有方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种用于低秩张量推断的张量广义近似消息传递（TeG-AMP）算法，可用于解决张量补全和张量分解问题。TeG-AMP算法是在高维情况下对和积置信传播算法的近似，其中中心极限定理和泰勒级数近似是适用的。由于TeG-AMP是基于通用的TR分解模型开发的，因此可以直接应用于许多低秩张量类型。此外，我们的TeG-AMP可以基于CP分解模型进行简化，并提出了一种张量简化AMP，用于解决低CP秩张量推断问题。实验结果表明，所提出的方法显著提高了恢复性能，因为它充分利用了张量结构。

🔬 方法详解

问题定义：论文旨在解决低秩张量推断问题，具体包括张量补全和张量分解。现有方法在利用张量结构信息方面存在不足，导致恢复性能不佳，尤其是在高维情况下。这些方法通常难以有效处理大规模张量数据，并且计算复杂度较高。

核心思路：论文的核心思路是利用广义近似消息传递（G-AMP）框架，并将其扩展到张量领域，提出张量广义近似消息传递（TeG-AMP）算法。该算法通过近似和积置信传播，在高维情况下利用中心极限定理和泰勒级数近似，从而有效地利用张量结构信息进行低秩张量推断。

技术框架：TeG-AMP算法的整体框架基于和积置信传播。在高维情况下，算法利用中心极限定理和泰勒级数近似简化计算。该算法包含多个迭代步骤，每个步骤中，节点之间传递消息，并根据接收到的消息更新节点的状态。算法最终收敛到低秩张量的估计值。针对不同的张量分解模型（如TR分解和CP分解），算法可以进行相应的调整和简化。

关键创新：论文的关键创新在于将G-AMP框架扩展到张量领域，提出了TeG-AMP算法。与现有方法相比，TeG-AMP算法能够更有效地利用张量结构信息，从而提高低秩张量推断的性能。此外，该算法具有通用性，可以应用于多种低秩张量类型，并且可以根据不同的张量分解模型进行简化。

关键设计：TeG-AMP算法的关键设计包括消息传递规则、状态更新方程以及算法的收敛条件。消息传递规则基于和积置信传播，状态更新方程利用中心极限定理和泰勒级数近似进行简化。算法的收敛条件用于判断算法是否达到收敛状态，并停止迭代。此外，针对不同的张量分解模型，算法需要进行相应的参数设置和调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TeG-AMP算法在张量补全和张量分解任务上显著优于现有方法。具体而言，TeG-AMP算法在恢复性能上取得了显著提升，尤其是在高维情况下。实验结果验证了TeG-AMP算法能够有效地利用张量结构信息，从而提高低秩张量推断的性能。

🎯 应用场景

该研究成果可广泛应用于图像处理、视频分析、推荐系统、信号处理等领域。例如，在图像修复中，可以利用TeG-AMP算法对缺失的图像像素进行补全；在推荐系统中，可以利用TeG-AMP算法对用户-物品交互矩阵进行分解，从而实现个性化推荐。该研究具有重要的实际价值和广阔的应用前景。

📄 摘要（原文）

We propose a tensor generalized approximate message passing (TeG-AMP) algorithm for low-rank tensor inference, which can be used to solve tensor completion and decomposition problems. We derive TeG-AMP algorithm as an approximation of the sum-product belief propagation algorithm in high dimensions where the central limit theorem and Taylor series approximations are applicable. As TeG-AMP is developed based on a general TR decomposition model, it can be directly applied to many low-rank tensor types. Moreover, our TeG-AMP can be simplified based on the CP decomposition model and a tensor simplified AMP is proposed for low CP-rank tensor inference problems. Experimental results demonstrate that the proposed methods significantly improve recovery performances since it takes full advantage of tensor structures.