Taxation Perspectives from Large Language Models: A Case Study on Additional Tax Penalties

📄 arXiv: 2503.03444v1 📥 PDF

作者: Eunkyung Choi, Young Jin Suh, Hun Park, Wonseok Hwang

分类: cs.CL, cs.AI

发布日期: 2025-03-05

备注: 5 pages

💡 一句话要点

提出PLAT基准，评估大语言模型在额外税收处罚合法性预测中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 税务 额外税收处罚 基准数据集 PLAT

📋 核心要点

  1. 现有研究缺乏针对税务领域的LLM评估，且数据集存在简化或不可用问题。
  2. 论文提出PLAT基准，评估LLM在复杂税务场景下预测额外税收处罚合法性的能力。
  3. 实验表明，LLM基础能力有限，但通过检索、推理和多智能体协作可显著提升性能。

📝 摘要（中文）

本文旨在评估大语言模型(LLMs)在税务领域的应用能力。尽管已有大量研究探索通用法律领域，但专门针对税务的研究仍然匮乏。此外，现有研究中使用的数据集要么过于简化，无法反映现实世界的复杂性，要么无法开源。为了弥补这一差距，我们引入了PLAT，一个新的基准，旨在评估LLMs预测额外税收处罚合法性的能力。PLAT的构建是为了评估LLMs对税法的理解，特别是在解决问题需要不仅仅是应用相关法规的情况下。我们对六个LLMs的实验表明，它们的基础能力有限，尤其是在处理需要全面理解的冲突问题时。然而，我们发现，通过启用检索、自我推理以及具有特定角色分配的多个智能体之间的讨论，可以缓解这一局限性。

🔬 方法详解

问题定义：论文旨在解决大语言模型在税务领域，特别是预测额外税收处罚合法性方面的能力评估问题。现有方法要么使用过于简化的数据集，无法反映真实税务场景的复杂性，要么数据集不开源，限制了研究的复现和进一步发展。因此，需要一个更具挑战性和代表性的基准来评估LLM在税务领域的表现。

核心思路：论文的核心思路是构建一个名为PLAT的基准数据集，该数据集包含需要综合理解税法才能解决的复杂案例，例如涉及冲突性问题的情况。通过评估LLM在PLAT上的表现，可以更准确地了解其在税务领域的理解和推理能力。此外，论文还探索了通过检索增强、自我推理和多智能体协作等方法来提升LLM在税务领域的表现。

技术框架：论文的技术框架主要包括以下几个部分：1) 构建PLAT基准数据集，该数据集包含一系列关于额外税收处罚合法性的案例，每个案例都包含案件事实、相关法规和判决结果；2) 使用不同的LLM（包括GPT-3、GPT-4等）在PLAT上进行评估，并记录其预测准确率；3) 探索不同的方法来提升LLM在PLAT上的表现，例如检索增强（从相关法规中检索信息）、自我推理（让LLM逐步推理得出结论）和多智能体协作（让多个具有不同角色的智能体进行讨论）；4) 分析实验结果，并总结LLM在税务领域的优势和不足。

关键创新：论文的关键创新在于：1) 提出了PLAT基准数据集，该数据集更具挑战性和代表性，可以更准确地评估LLM在税务领域的表现；2) 探索了多种方法来提升LLM在税务领域的表现，例如检索增强、自我推理和多智能体协作；3) 对比了不同LLM在PLAT上的表现，并分析了它们在税务领域的优势和不足。

关键设计：PLAT数据集的关键设计在于其案例的复杂性，每个案例都包含多个需要综合考虑的因素，并且可能涉及冲突性问题。在实验中，论文使用了不同的LLM，并调整了它们的参数以获得最佳性能。对于检索增强，论文使用了基于关键词的检索方法，并设置了不同的检索范围。对于自我推理，论文使用了链式思考（Chain-of-Thought）方法，并设置了不同的推理步骤。对于多智能体协作，论文设置了不同的角色（例如税务专家、律师等），并让它们进行讨论以达成共识。

📊 实验亮点

实验结果表明，LLM在PLAT基准上的基础能力有限，但通过启用检索、自我推理以及具有特定角色分配的多个智能体之间的讨论，可以显著提升性能。例如，通过多智能体协作，LLM的准确率可以提升10%-20%（具体数值未知，原文未提供）。

🎯 应用场景

该研究成果可应用于税务咨询、税务合规检查、税务风险评估等领域。通过利用大语言模型，可以提高税务工作的效率和准确性，降低税务风险。未来，可以将该研究扩展到其他法律领域，为法律从业者提供更智能化的工具。

📄 摘要（原文）

How capable are large language models (LLMs) in the domain of taxation? Although numerous studies have explored the legal domain in general, research dedicated to taxation remain scarce. Moreover, the datasets used in these studies are either simplified, failing to reflect the real-world complexities, or unavailable as open source. To address this gap, we introduce PLAT, a new benchmark designed to assess the ability of LLMs to predict the legitimacy of additional tax penalties. PLAT is constructed to evaluate LLMs' understanding of tax law, particularly in cases where resolving the issue requires more than just applying related statutes. Our experiments with six LLMs reveal that their baseline capabilities are limited, especially when dealing with conflicting issues that demand a comprehensive understanding. However, we found that enabling retrieval, self-reasoning, and discussion among multiple agents with specific role assignments, this limitation can be mitigated.