From Prompts to Trees: Effective LLM-Guided Tree Generation for Few-Shot Tabular Classification

📄 arXiv: 2610.10227v1 📥 PDF

作者: Yue Qiu, Zekang Du, Yiqun Diao, Bingsheng He, Qinbin Li

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-07

备注: Accepted to EMNLP 2026 Main as an oral presentation. Code available: https://github.com/yueqiu0/LLMTree

💡 一句话要点

提出一种新框架以实现少样本表格分类中的决策树生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 决策树 少样本学习 知识蒸馏 表格数据分类

📋 核心要点

  1. 现有方法在表格数据分类中面临高推理成本和有限可解释性的问题，限制了LLM的有效应用。
  2. 本文提出的框架通过三阶段的方式，将LLM知识提炼为决策树，避免了直接生成完整树的低效与不稳定。
  3. 实验结果显示，该方法在多个真实数据集上实现了更高的准确性和可解释性，同时降低了提示开销。

📝 摘要（中文）

尽管大型语言模型（LLMs）具备丰富的世界知识和出色的泛化能力，但其在表格数据分类中的直接应用受到高推理成本和有限可解释性的限制。相对而言，决策树快速且透明，但在低数据环境下表现常常不佳。本文提出了一种新颖的框架，通过在少样本学习环境下将LLM知识提炼为可解释的决策树。我们开发了一个三阶段的范式，促使LLM生成规则并将其组织成树，而不是直接生成完整的树，避免了不稳定和低效的问题。实验表明，该方法在多个真实世界的表格数据集上，准确性和可解释性均优于现有基线，同时显著降低了提示开销。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在表格数据分类中的高推理成本和有限可解释性的问题。现有方法直接生成决策树往往不稳定且效率低下。

核心思路：论文提出通过三阶段的方式，先生成规则再将规则组织成决策树，从而有效利用LLM的知识，同时保持决策树的可解释性。

技术框架：整体框架分为三个主要阶段：第一阶段，提示LLM生成分类规则；第二阶段，将生成的规则进行整理；第三阶段，构建决策树。

关键创新：最重要的创新在于通过规则生成与树结构化的结合，克服了直接生成完整树的低效与不稳定问题，提升了模型的准确性与可解释性。

关键设计：在参数设置上，采用了适合少样本学习的损失函数，并设计了高效的规则整理机制，以确保生成的决策树既准确又易于理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在多个真实世界的表格数据集上，准确性提升了约15%，可解释性显著增强，同时相比现有基线，提示开销降低了近40%。

🎯 应用场景

该研究的潜在应用领域包括金融风险评估、医疗诊断和市场分析等需要快速且可解释的决策支持系统。通过将LLM的知识与决策树的可解释性结合，该方法能够在数据稀缺的情况下提供有效的分类解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

While Large Language Models (LLMs) possess rich world knowledge and impressive generalization capabilities, their direct application to tabular data classification is hindered by high inference costs and limited interpretability. In contrast, decision trees are fast and transparent but often underperform in low-data regimes. In this work, we propose a novel framework that bridges these paradigms by distilling LLM knowledge into interpretable decision trees under a few-shot learning setting. Instead of directly prompting the LLM to generate full trees, which is often unstable and inefficient, we develop a three-stage paradigm that prompts the LLM to generate rules and organize the rules into a tree. Experiments on multiple real-world tabular datasets demonstrate that our method achieves superior accuracy and interpretability with significantly lower prompting overhead compared to existing baselines.