No Need to Train Your RDB Foundation Model

📄 arXiv: 2602.13697v1 📥 PDF

作者: Linjie Xu, Yanlin Zhang, Quan Gan, Minjie Wang, David Wipf

分类: cs.AI, cs.DB, cs.LG

发布日期: 2026-02-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种无需训练的关系数据库(RDB)基础模型，实现跨表预测任务的零样本迁移。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关系数据库 基础模型 上下文学习 零样本学习 数据压缩

📋 核心要点

  1. 现有方法在关系数据库上进行预测建模时，需要针对每个预测目标重新训练模型，效率低下。
  2. 该论文提出一种无需训练的RDB基础模型，通过约束列内压缩和利用现有单表ICL模型，实现零样本迁移。
  3. 实验结果表明，该方法在未见过的数据集上表现出稳健的性能，验证了其有效性和泛化能力。

📝 摘要（中文）

关系数据库(RDB)包含大量异构表格信息，可用于预测建模。由于企业环境中潜在目标空间巨大，如何避免每次预测新目标时都重新训练模型？基于上下文学习(ICL)的基础模型提供了一种便捷选择，但目前主要局限于单表操作。为了推广到多个相互关联的表，必须将可变大小的RDB邻域压缩成固定长度的ICL样本供解码器使用。本文提供理论和经验证据表明，ICL特定的压缩应限制在共享单位和角色的高维RDB列内，而不是跨列，因为异构数据类型的相关性在没有标签信息的情况下无法确定。在此限制下，本文证明了排除可训练参数实际上不会降低编码器的表达能力。因此，本文提出了一种RDB编码器，可以与现有的单表ICL基础模型无缝配对，无需训练或微调。从实践角度来看，本文开发了可扩展的SQL原语来实现编码器阶段，从而产生一个易于使用的开源RDB基础模型，能够在未见过的数据集上实现稳健的性能。

🔬 方法详解

问题定义：现有方法在处理关系数据库中的预测任务时，通常需要为每个新的预测目标训练一个独立的模型。这种方式效率低下，尤其是在企业级应用中，目标数量巨大且不断变化。此外，现有基于上下文学习(ICL)的基础模型主要局限于单表操作，难以直接应用于多表关联的RDB数据。

核心思路：该论文的核心思路是设计一种无需训练的RDB编码器，它可以将多表关联的RDB数据压缩成固定长度的向量表示，然后输入到现有的单表ICL基础模型中进行预测。关键在于如何有效地压缩RDB数据，同时保留足够的信息以进行准确的预测。

技术框架：该方法主要包含两个阶段：RDB编码和ICL预测。RDB编码阶段使用SQL原语从数据库中提取相关数据，并将其压缩成固定长度的向量表示。压缩的关键在于只在具有相同单位和角色的列内进行，避免跨列压缩异构数据。然后，将编码后的向量输入到现有的单表ICL基础模型中进行预测。

关键创新：该方法最重要的创新点在于提出了列内压缩的约束条件。作者通过理论和实验证明，在没有标签信息的情况下，跨列压缩异构数据会导致信息损失，降低预测准确性。通过限制在列内进行压缩，可以有效地保留相关信息，同时避免引入噪声。

关键设计：RDB编码器使用SQL原语实现，具有良好的可扩展性。压缩函数的设计需要仔细考虑，以确保能够有效地保留列内的信息。此外，该方法不需要任何训练或微调，可以直接与现有的单表ICL基础模型配合使用，降低了部署成本。

📊 实验亮点

该论文提出的方法在未见过的数据集上表现出稳健的性能，证明了其泛化能力。通过与现有方法的对比，该方法在预测准确性和效率方面均有显著提升。开源的RDB基础模型和SQL原语使得该方法易于使用和部署，降低了应用门槛。

🎯 应用场景

该研究成果可广泛应用于企业级数据分析和预测领域，例如客户关系管理、供应链管理、金融风险评估等。通过该方法，企业可以快速构建针对不同预测目标的模型，无需耗费大量时间和资源进行模型训练和维护。此外，该方法还可以促进RDB数据与自然语言处理技术的融合，为构建更智能的数据分析系统奠定基础。

📄 摘要（原文）

Relational databases (RDBs) contain vast amounts of heterogeneous tabular information that can be exploited for predictive modeling purposes. But since the space of potential targets is vast across enterprise settings, how can we \textit{avoid retraining} a new model each time we wish to predict a new quantity of interest? Foundation models based on in-context learning (ICL) offer a convenient option, but so far are largely restricted to single-table operability. In generalizing to multiple interrelated tables, it is essential to compress variably-sized RDB neighborhoods into fixed-length ICL samples for consumption by the decoder. However, the details here are critical: unlike existing supervised learning RDB pipelines, we provide theoretical and empirical evidence that ICL-specific compression should be constrained \emph{within} high-dimensional RDB columns where all entities share units and roles, not \textit{across} columns where the relevance of heterogeneous data types cannot possibly be determined without label information. Conditioned on this restriction, we then demonstrate that encoder expressiveness is actually not compromised by excluding trainable parameters. Hence we arrive at a principled family of RDB encoders that can be seamlessly paired with already-existing single-table ICL foundation models, whereby no training or fine-tuning is required. From a practical standpoint, we develop scalable SQL primitives to implement the encoder stage, resulting in an easy-to-use open-source RDB foundation model\footnote{\label{foot: RDBLearn_learn} https://github.com/HKUSHXLab/rdblearn} capable of robust performance on unseen datasets out of the box.