Marginal Response Surface Elicitation for Zero-Label Tabular Learning

📄 arXiv: 2609.39639v1 📥 PDF

作者: Liangyu Teng, Yicheng Ding, Jing Liu, Hengsong Liu, Juncen Guo, Hongru Li, Jingyu Zhang, Liang Song

分类: cs.CL

发布日期: 2026-09-30

💡 一句话要点

提出MARS方法以解决零标签表格学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 表格学习 大型语言模型 无标记数据 特征选择 响应聚合

📋 核心要点

  1. 现有的表格学习方法通常依赖于大量标记数据，限制了其在无标记数据场景下的应用。
  2. MARS方法通过利用大型语言模型的领域先验，构建了一个零样本表格分类器，能够在没有标记数据的情况下进行有效预测。
  3. 在八个表格基准任务中，MARS的平均AUC和AP表现优于直接提示，且显著降低了计算成本。

📝 摘要（中文）

表格学习通常依赖于标记数据进行目标结果预测。然而，利用大型语言模型（LLMs）可以根据任务描述和特征语义提取领域先验，从而实现无标记数据的预测。本文提出了边际响应面引导（MARS）方法，将特征级LLM先验转化为可重用的零样本表格分类器。MARS从未标记数据中选择每个特征的代表值，并提示LLM提供相应的类别支持分数和特征权重。通过中位数聚合多个响应构建特征响应函数，并通过加权求和进行预测。MARS在八个表格基准任务中实现了最高的平均AUC和AP，分别比直接提示提高了1.97和6.21个百分点，同时显著降低了端到端成本。

🔬 方法详解

问题定义：本文解决的是在缺乏标记数据的情况下，如何有效进行表格学习的问题。现有方法依赖于标记数据，导致在无标记场景下的应用受限。

核心思路：MARS方法的核心思路是利用大型语言模型提取特征级先验信息，并将其转化为可重用的零样本分类器。通过选择代表性特征值并聚合响应，MARS能够在不进行额外查询的情况下进行预测。

技术框架：MARS的整体架构包括特征选择、LLM响应生成、响应聚合和预测四个主要模块。首先，从未标记数据中选择特征值，然后提示LLM生成类别支持分数，最后通过加权求和得到最终预测结果。

关键创新：MARS的主要创新在于将特征级LLM先验转化为零样本分类器的能力，与传统依赖标记数据的方法本质上不同。通过聚合多个响应，MARS提高了预测的稳定性和准确性。

关键设计：MARS在特征选择时采用了代表性值的选择策略，LLM的提示设计确保了生成的类别支持分数的有效性，聚合过程中使用中位数以减少噪声影响。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在八个表格基准任务中，MARS方法的平均AUC和AP分别比直接提示提高了1.97和6.21个百分点，显示出显著的性能提升。此外，MARS显著降低了端到端的计算成本，展现了其在实际应用中的优势。

🎯 应用场景

MARS方法具有广泛的应用潜力，尤其适用于医疗、金融等领域的表格数据分析。在这些领域，标记数据的获取成本高昂，而MARS能够在无标记数据的情况下提供有效的预测，具有重要的实际价值。未来，MARS可能推动更多无监督学习方法的发展，提升数据利用效率。

📄 摘要（原文）

Tabular learning uses structured data to predict target outcomes. Traditionally, this process has relied on labeled data. However, large language models (LLMs) can be used to elicit domain priors based on the task description and feature semantics, thereby enabling predictions without labeled data. We propose Marginal Response Surface Elicitation (MARS), a method that transforms feature-level LLM priors into a reusable, zero-shot tabular classifier. To construct this classifier, MARS selects representative values for each feature from unlabeled data and prompts the LLM to provide corresponding class support scores and feature weights. It then aggregates multiple responses using the median to construct feature response functions, and makes predictions through their weighted sum without further LLM queries. Across eight tabular benchmark tasks, MARS achieves the highest average AUC and AP, outperforming direct prompting by 1.97 and 6.21 percentage points respectively, while substantially reducing end-to-end costs. Evaluations with LLMs of different sizes further demonstrate its predictive advantage over direct prompting.