Beyond the Vote: When Do LLMs Add Value to Retrieval-Based Tabular Classification?

📄 arXiv: 2610.29520v1 📥 PDF

作者: Ziquan Wang, Yuxuan Nie, Jian Ma, Yingjie Li

分类: cs.IR, cs.CL

发布日期: 2026-10-21

💡 一句话要点

比较LLM与距离加权KNN在表格分类中的价值

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 表格分类 检索学习 距离加权投票 标签一致性

📋 核心要点

  1. 现有的基于检索的学习方法在处理标签一致性低的情况时表现不佳，难以充分利用LLM的潜力。
  2. 本文提出通过比较LLM与Distance-KNN的方式，探讨LLM在表格分类中的增值作用，尤其是在标签一致性低的情况下。
  3. 实验结果显示，Distance-KNN在所有池大小下的平均准确性最高，而LLM在特定条件下能够超越Distance-KNN，尤其是在近邻和中间邻域。

📝 摘要（中文）

基于检索的上下文学习（ICL）使大型语言模型（LLMs）能够从相似示例中预测表格标签，但尚不清楚LLM推理是否优于直接投票。本文通过在19个表格分类数据集上比较四种通用LLM与距离加权最近邻投票（Distance-KNN），探讨了这一问题。结果表明，尽管扩大检索候选池提高了所有预测器的准确性，但Distance-KNN在每个池大小下的平均准确性最高。LLM的增益主要集中在检索邻居标签一致性低的情况下，并且在模型间存在差异。LLM的表现还依赖于测试查询的特征空间平均距离：在低标签一致性下，某些LLM在近邻和中间邻域超越Distance-KNN，但在最远组中整体表现不佳。其他实验结果进一步验证了这些发现。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型（LLMs）在基于检索的表格分类任务中是否能提供超越距离加权最近邻投票（Distance-KNN）的增值。现有方法在标签一致性低的情况下表现不佳，限制了LLM的应用潜力。

核心思路：通过对比四种通用LLM与Distance-KNN，分析在不同条件下LLM的表现，尤其关注标签一致性和特征空间距离对预测准确性的影响。

技术框架：研究采用了固定数量的演示样本，扩大检索候选池，并在19个表格分类数据集上进行实验。主要模块包括数据检索、模型推理和结果比较。

关键创新：本文的创新在于系统性地比较LLM与Distance-KNN的表现，揭示了LLM在低标签一致性情况下的潜在优势，尤其是在近邻和中间邻域的表现。

关键设计：实验中对检索候选池的大小、演示数量、提示格式、检索表示和标签平衡演示选择进行了详细分析，确保了结果的可靠性和可重复性。通过这些设计，验证了LLM在特定条件下的增值作用。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Distance-KNN在所有池大小下的平均准确性最高，而在低标签一致性情况下，某些LLM在近邻和中间邻域的表现超越了Distance-KNN，尽管在最远组中整体表现不佳。这些发现为LLM的应用提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括数据分析、商业智能和机器学习模型的优化。通过更好地理解LLM在表格分类中的作用，可以提升数据驱动决策的准确性和效率，未来可能对智能系统的设计产生深远影响。

📄 摘要（原文）

Retrieval-based in-context learning (ICL) enables large language models (LLMs) to predict tabular labels from similar examples, but it remains unclear whether LLM inference improves on direct voting over those same examples. We address this question by comparing four general-purpose LLMs with distance-weighted nearest-neighbor voting (Distance-KNN) using identical retrieved neighbors across 19 tabular classification datasets. With the number of demonstrations fixed, enlarging the retrieval candidate pool improves accuracy for all predictors, yet Distance-KNN achieves the highest mean accuracy at every pool size. More detailed analyses reveal that LLM gains are concentrated where retrieved neighbors exhibit low label consensus and vary across models. These gains further depend on the average feature-space distance to the test query: under low label consensus, some LLMs outperform Distance-KNN in close and intermediate neighborhoods, but all fall behind on average in the most distant group. Complementary experiments on the number of demonstrations, prompt formulation, retrieval representation, and label-balanced demonstration selection largely preserve the overall findings. These results characterize when LLM inference adds predictive value beyond distance-weighted voting in retrieval-based tabular ICL.