STEER: Reducing Inference Cost in Relational Foundation Models through Semantically Informed Sampling

📄 arXiv: 2610.00907v1 📥 PDF

作者: Abdalla Mohamed, Ashraf Aboulnaga

分类: cs.DB, cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出STEER以降低关系基础模型的推理成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关系基础模型 推理成本 语义分析 上下文采样 大型语言模型 预测任务 数据库管理

📋 核心要点

  1. 现有的关系基础模型在推理时需要处理大量上下文，导致推理成本高昂。
  2. STEER通过集中在与当前预测任务最相关的表上，优化了推理上下文的采样过程。
  3. 实验结果表明，STEER在保持或提高预测准确性的同时，平均减少了约40%的推理上下文大小。

📝 摘要（中文）

关系基础模型（RFM）通过在一系列关系数据库和预测任务上进行预训练，能够零-shot地应用于未见过的数据库和任务。为了对目标行进行预测，RFM会采样与该行通过外键连接的行的邻域，并将其作为推理上下文。降低推理成本是基础模型的重要目标，而对于RFM来说，这一成本随着上下文的大小而增加。简单的缩小上下文的方法是丢弃一些采样行，但这忽略了数据库模式的语义，可能会丢弃有用的行。本文提出了STEER，一种通过集中在与预测任务最相关的表上来缩小推理上下文的采样方法。STEER通过提示大型语言模型对数据库模式的外键边进行相关性排序，从而获得相关性信息，并将每个层级映射到在遍历过程中跟随该边的概率。我们在三种最先进的RFM（RT、RT-J和Griffin）上评估STEER，结果显示其平均推理上下文大小减少约40%，同时保持甚至在某些情况下提高了预测准确性。

🔬 方法详解

问题定义：本文旨在解决关系基础模型在推理过程中因上下文过大而导致的高推理成本问题。现有方法简单地丢弃一些行，可能会丢失重要信息，影响预测效果。

核心思路：STEER的核心思路是通过分析数据库模式的语义，集中采样与当前预测任务最相关的表，从而有效缩小推理上下文。该方法利用大型语言模型对外键边进行相关性排序，确保保留重要的行。

技术框架：STEER的整体架构包括三个主要模块：1) 数据库模式分析，2) 外键边的相关性排序，3) 基于排序结果的上下文采样。该流程在每个任务中只需计算一次相关性排序，后续预测可重复使用。

关键创新：STEER的创新点在于通过语义分析优化采样过程，与传统方法相比，能够更有效地保留信息行，减少无效行的干扰。

关键设计：STEER的关键设计包括使用大型语言模型进行外键边的相关性排序，并将排序结果映射为概率，以指导采样过程。这种设计确保了在推理时能够优先考虑重要的上下文信息。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

STEER在三种最先进的关系基础模型上进行了评估，结果显示其平均推理上下文大小减少约40%。同时，在保持预测准确性的基础上，某些情况下甚至实现了准确性的提升，展现了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括数据库管理、智能决策支持系统和机器学习模型的优化等。通过降低推理成本，STEER可以帮助企业在处理大规模数据时提高效率，降低资源消耗，具有重要的实际价值和未来影响。

📄 摘要（原文）

Relational foundation models (RFMs) are pretrained once on a collection of relational databases and prediction tasks, and then applied zero-shot to previously unseen databases and tasks. To make a prediction for a target row, an RFM samples a neighborhood of rows linked to that row through foreign keys and uses this neighborhood as its inference context. Lowering inference cost is an important goal for any foundation model, and for RFMs this cost grows with the size of the context. The simplest ways to shrink the context is to drop some of the sampled rows, but this ignores the semantics of the database schema, so it is as likely to discard informative rows as uninformative ones. We propose STEER, a sampling approach that shrinks the inference context by concentrating it on the tables most relevant to the prediction task at hand. STEER obtains relevance information by prompting a large language model to rank the foreign-key edges of the database schema into relevance tiers for the given task, and then maps each tier to a probability of following that edge during traversal. Because the ranking uses only the schema, it is computed once per task and reused across all subsequent predictions, amortizing its cost. We evaluate STEER on three state-of-the-art RFMs (RT, RT-J, and Griffin) and show that it reduces inference context size by about 40% on average while maintaining, and in some cases improving, prediction accuracy.