MatrixFormer: A Foundation Model for Matrix Completion

📄 arXiv: 2610.06751v1 📥 PDF

作者: Dwaipayan Saha, Jacob Feitelberg, Kyuseong Choi, Raaz Dwivedi, Anish Agarwal

分类: cs.LG, cs.AI

发布日期: 2026-10-05

备注: 17 pages, 5 figures

💡 一句话要点

提出MatrixFormer以解决矩阵补全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 矩阵补全 变换器 自注意力机制 因果推断 数据插补 推荐系统 低秩矩阵 潜在因子

📋 核心要点

  1. 现有的表格基础模型将矩阵补全视为逐项预测，忽略了矩阵的二维结构，导致信息丢失和效率低下。
  2. MatrixFormer通过预训练的矩阵原生变换器，能够在一次前向传播中为每个缺失条目预测完整分布，保留了矩阵的结构信息。
  3. 在零-shot应用中，MatrixFormer在多个任务上表现出竞争力，显示出其作为通用基础模型的潜力。

📝 摘要（中文）

矩阵补全是从表格插补到因果推断等问题的基础，但现有的表格基础模型将其视为逐项预测，忽视了矩阵的二维结构。我们提出了MatrixFormer，这是一种预训练的矩阵原生变换器，能够在一次前向传播中为每个缺失条目预测完整分布。MatrixFormer完全在合成低秩和潜在因子矩阵上训练，涵盖多种缺失模式。通过零-shot应用，MatrixFormer在因果推断面板数据任务、语言模型基准分数补全、表格插补和推荐系统矩阵补全等方面表现出竞争力。这些结果使MatrixFormer成为矩阵补全的通用基础模型。

🔬 方法详解

问题定义：本论文旨在解决矩阵补全问题，现有方法在处理矩阵时往往将其视为逐项预测，忽视了矩阵的二维结构，导致信息丢失和效率低下。

核心思路：MatrixFormer的核心思路是设计一个预训练的矩阵原生变换器，能够在一次前向传播中为每个缺失条目预测完整分布，从而保留矩阵的结构信息并提高预测效率。

技术框架：MatrixFormer的整体架构包括输入层、变换器模块和输出层。输入层接受矩阵数据，变换器模块通过自注意力机制处理数据，输出层则生成每个缺失条目的预测分布。

关键创新：MatrixFormer的最大创新在于其矩阵原生设计，能够在一次前向传播中处理整个矩阵，而不是逐项处理，从而显著提高了效率和准确性。

关键设计：在训练过程中，MatrixFormer使用合成低秩和潜在因子矩阵，并采用多种缺失模式进行训练。网络结构采用了自注意力机制，损失函数则设计为适应矩阵补全的特定需求。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在零-shot应用中，MatrixFormer在因果推断面板数据任务、语言模型基准分数补全、表格插补和推荐系统矩阵补全等任务上表现出竞争力，显示出其作为通用基础模型的潜力，具体性能数据未提供。

🎯 应用场景

MatrixFormer在多个领域具有广泛的应用潜力，包括数据插补、因果推断和推荐系统等。其高效的矩阵补全能力能够帮助研究人员和工程师在处理缺失数据时提高准确性和效率，推动相关领域的发展。未来，MatrixFormer可能会在更复杂的矩阵补全任务中展现出更大的价值。

📄 摘要（原文）

Matrix completion underlies problems from tabular imputation to causal inference, yet existing tabular foundation models treat it as entry-by-entry prediction, repeating context for every target and discarding the matrix's two-dimensional structure. We introduce MatrixFormer, a pre-trained matrix-native transformer that predicts a full distribution for every missing entry in a single forward pass. MatrixFormer is trained entirely on synthetic low-rank and latent-factor matrices under diverse missingness patterns. Applied zero-shot and with the same model weights, MatrixFormer achieves competitive performance on causal inference panel-data tasks, language-model benchmark-score completion, tabular imputation, and recommendation systems matrix completion. These results position MatrixFormer as a general-purpose foundation model for matrix completion.