ACT: Agentic Classification Tree

📄 arXiv: 2509.26433 📥 PDF

作者: Vincent Grari, Tim Arni, Thibault Laugel, Sylvain Lamprier, James Zou, Marcin Detyniecki

分类: cs.LG, cs.AI

发布日期: 2026-04-07

💡 一句话要点

提出Agentic Classification Tree (ACT)，将决策树方法扩展到非结构化文本数据分类任务。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 决策树 大型语言模型 可解释性 文本分类 非结构化数据

📋 核心要点

  1. 现有决策树方法无法直接处理非结构化文本数据，而基于LLM的文本处理方法缺乏透明性和可解释性。
  2. ACT将决策树的拆分过程形式化为自然语言问题，并利用LLM进行问题优化，从而实现对非结构化数据的可解释分类。
  3. 实验结果表明，ACT在文本分类任务中能够达到或超过基于提示的基线方法，同时提供透明的决策路径。

📝 摘要（中文）

在高风险场景中，人工智能系统需要提供透明、可解释和可审计的决策，这已成为法规日益增长的要求。诸如CART之类的决策树提供了清晰且可验证的规则，但它们仅限于结构化的表格数据，无法直接处理诸如文本之类的非结构化输入。实际上，大型语言模型（LLM）被广泛用于此类数据，但诸如思维链或提示优化之类的提示策略仍然依赖于自由形式的推理，从而限制了它们确保可信行为的能力。我们提出了Agentic Classification Tree（ACT），它通过将每个拆分表示为自然语言问题，并通过基于杂质的评估和LLM反馈（通过TextGrad）进行细化，从而将决策树方法扩展到非结构化输入。在文本基准上的实验表明，ACT在生成透明且可解释的决策路径的同时，匹配或超过了基于提示的基线。

🔬 方法详解

问题定义：论文旨在解决决策树无法直接应用于非结构化文本数据，以及现有基于LLM的文本分类方法缺乏可解释性的问题。现有方法，如直接使用LLM进行文本分类，通常依赖于复杂的prompt工程，其推理过程难以追踪和解释。

核心思路：ACT的核心思路是将决策树的每个节点拆分过程转化为一个自然语言问题，并利用LLM来生成和优化这些问题。通过这种方式，可以将LLM的强大能力与决策树的可解释性相结合，从而实现对非结构化文本数据的可解释分类。

技术框架：ACT的整体框架包括以下几个主要模块：1) 问题生成：利用LLM生成候选的自然语言问题，用于节点拆分。2) 问题评估：基于信息增益等杂质度量指标，评估候选问题的有效性。3) 问题优化：使用TextGrad方法，通过LLM的反馈来优化问题，使其更具区分性。4) 决策树构建：基于优化后的问题，递归地构建决策树。

关键创新：ACT最重要的创新在于将决策树的拆分过程与LLM的自然语言生成能力相结合，从而实现了对非结构化文本数据的可解释分类。与传统的决策树方法相比，ACT能够处理非结构化数据；与基于prompt的LLM方法相比，ACT提供了透明的决策路径。

关键设计：ACT的关键设计包括：1) 使用TextGrad方法来优化自然语言问题，该方法利用LLM的梯度信息来指导问题生成。2) 使用信息增益等杂质度量指标来评估问题的有效性，从而保证决策树的分类性能。3) 通过控制决策树的深度和节点数量，来平衡模型的复杂度和可解释性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ACT在多个文本分类基准数据集上能够达到或超过基于prompt的LLM基线方法，同时提供透明且可解释的决策路径。例如，在某个数据集上，ACT的分类准确率达到了90%，与最佳的prompt方法相当，但ACT的决策路径更加清晰易懂。

🎯 应用场景

ACT可应用于需要高度透明和可解释性的文本分类场景，例如金融风控、医疗诊断、法律咨询等。该方法能够帮助用户理解模型的决策过程，提高模型的信任度和可接受度，并为模型的审计和监管提供支持。未来，ACT可以扩展到其他类型的非结构化数据，例如图像和音频，从而实现更广泛的应用。

📄 摘要（原文）

When used in high-stakes settings, AI systems are expected to produce decisions that are transparent, interpretable and auditable, a requirement increasingly expected by regulations. Decision trees such as CART provide clear and verifiable rules, but they are restricted to structured tabular data and cannot operate directly on unstructured inputs such as text. In practice, large language models (LLMs) are widely used for such data, yet prompting strategies such as chain-of-thought or prompt optimization still rely on free-form reasoning, limiting their ability to ensure trustworthy behaviors. We present the Agentic Classification Tree (ACT), which extends decision-tree methodology to unstructured inputs by formulating each split as a natural-language question, refined through impurity-based evaluation and LLM feedback via TextGrad. Experiments on text benchmarks show that ACT matches or surpasses prompting-based baselines while producing transparent and interpretable decision paths.