Harnessing LLMs Explanations to Boost Surrogate Models in Tabular Data Classification

📄 arXiv: 2505.05744v1 📥 PDF

作者: Ruxue Shi, Hengrui Gu, Xu Shen, Xin Wang

分类: cs.LG, cs.CL

发布日期: 2025-05-09

💡 一句话要点

利用LLM解释增强表格数据分类中的代理模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据分类 大型语言模型 代理模型 可解释性 上下文学习

📋 核心要点

  1. 现有基于LLM的表格学习方法面临资源需求高、演示选择不佳和可解释性不足的挑战。
  2. 论文提出利用LLM生成的解释来指导小型代理语言模型（SLM）进行可解释的表格预测。
  3. 实验结果表明，该框架在多个表格数据集上实现了平均5.31%的准确率提升。

📝 摘要（中文）

大型语言模型（LLM）在解决复杂任务方面表现出卓越的能力，使其成为增强表格学习的有前途的工具。然而，现有的基于LLM的方法存在资源需求高、演示选择次优和可解释性有限等问题，这在很大程度上阻碍了它们的预测性能和在现实世界中的应用。为了克服这些问题，我们提出了一种新颖的表格预测上下文学习框架。其核心思想是利用LLM生成的解释来指导一个更小、可本地部署的代理语言模型（SLM）进行可解释的表格预测。具体来说，我们的框架主要包括三个阶段：（i）事后解释生成，利用LLM为候选演示中的问答对生成解释，从而深入了解答案背后的推理。（ii）事后解释引导的演示选择，利用LLM生成的解释来指导从候选演示中选择演示的过程。（iii）事后解释引导的可解释SLM预测，利用步骤（ii）中获得的演示作为上下文，并将相应的解释合并为理由，以提高SLM的性能并指导模型生成可解释的输出。实验结果突出了该框架的有效性，在不同领域的各种表格数据集上的平均准确率提高了5.31%。

🔬 方法详解

问题定义：论文旨在解决表格数据分类任务中，现有基于LLM的方法资源消耗大、演示选择不优以及缺乏可解释性的问题。这些问题限制了LLM在实际表格数据场景中的应用，尤其是在资源受限的环境下。

核心思路：核心思路是利用大型语言模型（LLM）生成对表格数据分类决策的解释，然后利用这些解释来指导一个更小、更易于部署的代理语言模型（SLM）的学习。通过这种方式，SLM可以学习到LLM的推理过程，从而在保证性能的同时，提高模型的可解释性和降低资源需求。

技术框架：整体框架包含三个主要阶段：(1) 事后解释生成：使用LLM为候选演示数据生成解释，说明其推理过程。(2) 事后解释引导的演示选择：利用生成的解释来选择更有效的演示数据，用于后续的SLM训练。(3) 事后解释引导的可解释SLM预测：将选择的演示数据和对应的解释作为上下文，训练SLM进行预测，并引导SLM生成可解释的输出。

关键创新：关键创新在于利用LLM的解释能力来指导SLM的学习过程。与直接使用LLM进行预测相比，该方法降低了资源需求，提高了可解释性。与传统的蒸馏方法相比，该方法利用了LLM生成的自然语言解释，而不是仅仅学习LLM的预测结果。

关键设计：论文的关键设计包括：如何设计提示工程（Prompt Engineering）来引导LLM生成高质量的解释；如何利用生成的解释来选择最有效的演示数据；以及如何将解释融入到SLM的训练过程中，例如，可以将解释作为SLM的输入，或者使用解释来指导SLM的注意力机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架在多个表格数据集上实现了显著的性能提升，平均准确率提高了5.31%。该框架在保持较高预测准确率的同时，还提高了模型的可解释性，使其更易于理解和信任。此外，该框架利用小型代理模型，降低了资源需求，使其更易于部署到实际应用中。

🎯 应用场景

该研究成果可应用于金融风控、医疗诊断、客户关系管理等领域，在这些领域中，表格数据分类任务至关重要。通过提高模型的可解释性，可以增强用户对模型预测结果的信任，并促进模型的部署和应用。未来的研究可以探索如何将该框架应用于更复杂的表格数据场景，例如包含缺失值或噪声的数据。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable ability in solving complex tasks, making them a promising tool for enhancing tabular learning. However, existing LLM-based methods suffer from high resource requirements, suboptimal demonstration selection, and limited interpretability, which largely hinder their prediction performance and application in the real world. To overcome these problems, we propose a novel in-context learning framework for tabular prediction. The core idea is to leverage the explanations generated by LLMs to guide a smaller, locally deployable Surrogate Language Model (SLM) to make interpretable tabular predictions. Specifically, our framework mainly involves three stages: (i) Post Hoc Explanation Generation, where LLMs are utilized to generate explanations for question-answer pairs in candidate demonstrations, providing insights into the reasoning behind the answer. (ii) Post Hoc Explanation-Guided Demonstrations Selection, which utilizes explanations generated by LLMs to guide the process of demonstration selection from candidate demonstrations. (iii) Post Hoc Explanation-Guided Interpretable SLM Prediction, which utilizes the demonstrations obtained in step (ii) as in-context and merges corresponding explanations as rationales to improve the performance of SLM and guide the model to generate interpretable outputs. Experimental results highlight the framework's effectiveness, with an average accuracy improvement of 5.31% across various tabular datasets in diverse domains.