Embedding World Knowledge into Tabular Models: Towards Best Practices for Embedding Pipeline Design

📄 arXiv: 2603.17737v1 📥 PDF

作者: Oksana Kolomenko, Ricardo Knauer, Erik Rodner

分类: cs.LG

发布日期: 2026-03-18

备注: Computational Intelligence 2025 Workshop

DOI: 10.5445/IR/1000186052

💡 一句话要点

针对表格数据预测，系统性评估LLM嵌入流水线设计，提供最佳实践。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据预测 大型语言模型 嵌入 流水线设计 梯度提升决策树

📋 核心要点

  1. 现有表格数据预测模型缺乏有效利用大型语言模型世界知识的方法，如何设计有效的LLM嵌入流水线是一个挑战。
  2. 论文核心思想是系统性地评估不同预处理策略、嵌入模型和下游模型的组合，寻找最佳的嵌入流水线设计。
  3. 实验结果表明，嵌入流水线设计对性能影响显著，拼接嵌入优于替换，更大的嵌入模型效果更好，梯度提升决策树表现出色。

📝 摘要（中文）

本文研究如何利用大型语言模型（LLM）的世界知识，通过嵌入（Embedding）来增强数据驱动的机器学习模型，用于表格数据预测。由于缺乏有效设计LLM嵌入流水线的实践经验，本文系统地评估了256种流水线配置，涵盖8种预处理策略、16种嵌入模型和2种下游模型。结果表明，LLM先验知识的引入对预测性能的提升，很大程度上取决于具体的流水线设计。总体而言，拼接嵌入通常优于用嵌入替换原始列。更大的嵌入模型往往产生更好的结果，而公共排行榜排名和模型受欢迎程度是较差的性能指标。最后，梯度提升决策树往往是强大的下游模型。这些发现为研究人员和从业者构建更有效的表格数据预测嵌入流水线提供了指导。

🔬 方法详解

问题定义：论文旨在解决表格数据预测任务中，如何有效利用大型语言模型（LLM）的知识来提升模型性能的问题。现有方法缺乏对LLM嵌入流水线设计的系统性研究，导致难以选择合适的预处理方法、嵌入模型和下游模型，从而限制了LLM知识在表格数据预测中的应用。

核心思路：论文的核心思路是通过大规模的实验评估，系统性地比较不同的LLM嵌入流水线配置，从而找到最佳实践。通过组合不同的预处理策略、嵌入模型和下游模型，并分析它们对预测性能的影响，为研究人员和从业者提供指导。

技术框架：论文的技术框架主要包括三个阶段：1) 预处理阶段：对表格数据进行清洗和转换，采用不同的预处理策略，例如文本数据的处理方式。2) 嵌入阶段：利用不同的LLM嵌入模型，将表格数据中的文本列转换为嵌入向量。3) 下游模型阶段：将嵌入向量与表格数据中的其他特征结合，输入到下游模型进行预测。下游模型包括梯度提升决策树等。

关键创新：论文的关键创新在于对LLM嵌入流水线进行了全面的系统性评估，涵盖了多种预处理策略、嵌入模型和下游模型。通过大规模的实验，揭示了不同流水线配置对预测性能的影响，并提出了实用的建议。此外，论文还发现了一些反直觉的结论，例如公共排行榜排名和模型受欢迎程度与实际性能并不完全一致。

关键设计：论文的关键设计包括：1) 选择了多种具有代表性的预处理策略，例如文本清洗、标准化等。2) 选择了多种不同规模和类型的LLM嵌入模型，例如不同参数量的Transformer模型。3) 选择了两种常用的下游模型，包括梯度提升决策树和神经网络。4) 采用了合理的评估指标，例如准确率、F1值等。5) 对实验结果进行了详细的分析，包括不同流水线配置的性能比较、不同因素的影响分析等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，拼接嵌入方法通常优于替换原始列，更大的嵌入模型往往能带来更好的性能。梯度提升决策树作为下游模型表现出色。研究还发现，公共排行榜排名和模型受欢迎程度与实际性能并非强相关，提示在选择嵌入模型时需要谨慎。

🎯 应用场景

该研究成果可应用于各种需要利用表格数据进行预测的领域，例如金融风控、医疗诊断、市场营销等。通过将LLM的知识融入表格数据模型，可以提高预测准确率，从而为决策提供更可靠的依据。未来，该研究可以进一步扩展到其他类型的数据和任务，例如图像数据、文本数据等。

📄 摘要（原文）

Embeddings are a powerful way to enrich data-driven machine learning models with the world knowledge of large language models (LLMs). Yet, there is limited evidence on how to design effective LLM-based embedding pipelines for tabular prediction. In this work, we systematically benchmark 256 pipeline configurations, covering 8 preprocessing strategies, 16 embedding models, and 2 downstream models. Our results show that it strongly depends on the specific pipeline design whether incorporating the prior knowledge of LLMs improves the predictive performance. In general, concatenating embeddings tends to outperform replacing the original columns with embeddings. Larger embedding models tend to yield better results, while public leaderboard rankings and model popularity are poor performance indicators. Finally, gradient boosting decision trees tend to be strong downstream models. Our findings provide researchers and practitioners with guidance for building more effective embedding pipelines for tabular prediction tasks.