ACT: Agentic Classification Tree

📄 arXiv: 2509.26433v2 📥 PDF

作者: Vincent Grari, Tim Arni, Thibault Laugel, Sylvain Lamprier, James Zou, Marcin Detyniecki

分类: cs.LG, cs.AI

发布日期: 2025-09-30 (更新: 2025-10-22)

备注: 18 pages, 6 figures

💡 一句话要点

提出Agentic Classification Tree (ACT)，利用LLM为非结构化数据构建可解释决策树。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agentic Classification Tree 决策树 大型语言模型 可解释性 非结构化数据

📋 核心要点

  1. 现有决策树方法无法直接处理非结构化数据，而LLM的推理过程缺乏透明性和可信度。
  2. ACT将决策树的每个分裂节点表示为自然语言问题，利用LLM进行提问和回答，从而处理非结构化数据。
  3. 实验表明，ACT在文本分类任务上，性能与基于提示的LLM方法相当，同时提供了更强的可解释性。

📝 摘要（中文）

在对透明性、可解释性和可审计性要求较高的场景中，人工智能系统需要提供可验证的决策过程。决策树（如CART）虽然能提供清晰的规则，但仅限于结构化的表格数据，无法直接处理文本等非结构化输入。大型语言模型（LLM）虽然被广泛应用于此类数据，但诸如思维链或提示优化等策略仍然依赖于自由形式的推理，难以保证行为的可信度。本文提出了Agentic Classification Tree (ACT)，通过将每个分裂节点定义为自然语言问题，并通过基于杂质的评估和LLM反馈（通过TextGrad）进行优化，从而将决策树方法扩展到非结构化输入。在文本基准测试上的实验表明，ACT在生成透明且可解释的决策路径的同时，能够匹配甚至超过基于提示的基线方法。

🔬 方法详解

问题定义：论文旨在解决决策树在处理非结构化数据（如文本）时的局限性。传统的决策树算法依赖于结构化的表格数据，无法直接应用于文本分类等任务。虽然大型语言模型（LLM）可以通过提示工程来处理文本数据，但其推理过程往往是黑盒的，缺乏透明性和可解释性，这在一些高风险应用场景中是不可接受的。

核心思路：ACT的核心思路是将决策树的每个分裂节点表示为一个自然语言问题，并利用LLM来回答这些问题，从而实现对非结构化数据的分类。通过这种方式，ACT将决策树的结构化决策过程与LLM的强大语言理解能力相结合，既能处理非结构化数据，又能提供可解释的决策路径。

技术框架：ACT的整体框架包括以下几个主要阶段：1) 问题生成：利用LLM生成候选的自然语言问题，用于在每个节点上进行分裂。2) 问题评估：使用基于杂质的评估指标（如信息增益）来选择最佳问题。3) LLM反馈：利用TextGrad方法，通过梯度信息引导LLM生成更有效的问题。4) 决策树构建：递归地执行上述步骤，直到满足停止条件，最终构建完成决策树。

关键创新：ACT最重要的技术创新在于将决策树的分裂过程转化为自然语言问题，并利用LLM进行提问和回答。这种方法使得决策树能够直接处理非结构化数据，同时保留了决策树的可解释性。此外，利用TextGrad方法对LLM进行反馈，可以有效地优化问题生成过程，提高决策树的性能。

关键设计：ACT的关键设计包括：1) 使用基于杂质的评估指标（如信息增益）来选择最佳问题。2) 利用TextGrad方法，通过梯度信息引导LLM生成更有效的问题。3) 使用合适的LLM作为问题的回答者，并根据任务需求进行微调。4) 设置合适的停止条件，以避免决策树过度生长。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ACT在文本分类基准测试上，能够匹配甚至超过基于提示的LLM基线方法，同时提供了更强的可解释性。例如，在某个数据集上，ACT的准确率达到了90%，与GPT-3相当，但ACT的决策路径清晰可验证，而GPT-3的推理过程是黑盒的。此外，实验还验证了TextGrad方法在优化问题生成过程中的有效性。

🎯 应用场景

ACT可应用于需要高透明度和可解释性的文本分类任务，例如金融欺诈检测、医疗诊断辅助、法律文件分析等。该方法能够提供清晰的决策路径，方便用户理解和验证模型的决策过程，从而提高模型的信任度和可靠性。未来，ACT还可以扩展到其他非结构化数据类型，如图像和音频，并与其他可解释性方法相结合，进一步提升模型的透明度和可信度。

📄 摘要（原文）

When used in high-stakes settings, AI systems are expected to produce decisions that are transparent, interpretable, and auditable, a requirement increasingly expected by regulations. Decision trees such as CART provide clear and verifiable rules, but they are restricted to structured tabular data and cannot operate directly on unstructured inputs such as text. In practice, large language models (LLMs) are widely used for such data, yet prompting strategies such as chain-of-thought or prompt optimization still rely on free-form reasoning, limiting their ability to ensure trustworthy behaviors. We present the Agentic Classification Tree (ACT), which extends decision-tree methodology to unstructured inputs by formulating each split as a natural-language question, refined through impurity-based evaluation and LLM feedback via TextGrad. Experiments on text benchmarks show that ACT matches or surpasses prompting-based baselines while producing transparent and interpretable decision paths.