Tracing Recurrent and Emergent Hallucination Patterns in Decomposed Text-to-SQL Generation
作者: Hayden Moore, Abhinav Verma, Anshuman Dutt
分类: cs.CL
发布日期: 2026-10-20
备注: Accepted to the 3rd Workshop on Uncertainty-Aware NLP (UncertaiNLP 2026), co-located with EMNLP 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出逐步评估框架以解决Text-to-SQL生成中的幻觉问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Text-to-SQL 大型语言模型 幻觉分析 逐步评估 自然语言处理 数据库查询 智能助手
📋 核心要点
- 现有的Text-to-SQL生成方法在最终查询中常出现错误，难以追踪错误源头。
- 本文提出了一种逐步评估框架，分解查询以分析生成过程中的幻觉类型。
- 实验结果显示，多个类别的重复概率显著，而在对话历史条件下，重复和出现概率表现出不同的趋势。
📝 摘要（中文）
大型语言模型在Text-to-SQL基准测试中表现出色，但仍会产生模式和查询逻辑错误。现有评估方法仅关注最终生成的查询，难以识别早期步骤中的相关错误。本文提出了一种逐步评估框架，将Text-to-SQL查询分解为逐渐复杂的可执行子查询和相应的自然语言问题，从而允许对生成路径中的规则性幻觉类别进行分析。我们区分了重复幻觉和新出现幻觉，并在五个大型语言模型上进行了评估，发现多个类别显示出显著的重复概率，而条款滥用则表现出较高的条件出现概率。这些观察结果表明，在额外上下文下，两种条件度量并不均匀变化，推动了轨迹级分析的必要性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在Text-to-SQL生成中出现的幻觉问题，现有方法仅关注最终输出，无法识别生成过程中的早期错误。
核心思路：提出逐步评估框架，将查询分解为简单的可执行子查询，允许对生成路径中的幻觉进行深入分析。通过区分重复幻觉和新出现幻觉，提供更细致的错误追踪。
技术框架：整体架构包括将Text-to-SQL查询分解为多个阶段，首先生成简单的自然语言问题，然后逐步构建复杂的SQL查询。每个阶段的输出都被评估以识别潜在的幻觉。
关键创新：最重要的创新在于引入了逐步评估的概念，使得研究者能够在生成路径中识别和分析幻觉的出现，填补了现有方法的空白。
关键设计：在评估过程中，设置了不同的规则基础以分类幻觉，采用了概率模型来计算重复和新出现幻觉的条件概率，确保了评估的准确性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在五个大型语言模型上，多个幻觉类别的重复概率显著，条款滥用的条件出现概率较高。在对话历史条件下，重复概率普遍较高，而出现概率则较低，显示出不同上下文对生成结果的影响。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、数据库查询生成和智能助手等。通过改进Text-to-SQL生成的准确性，可以提升用户与数据库交互的效率，推动智能系统的进一步发展。
📄 摘要（原文）
Large language models can achieve strong Text-to-SQL benchmark performance while still producing schema and query-logic errors. Most evaluations characterize such failures only in the final generated query, making it difficult to determine whether a related error was also observed in an earlier, simpler step or appears only at the final stage. We present a drill-down evaluation framework that decomposes Text-to-SQL queries into progressively more complex executable sub-queries and corresponding natural-language questions, allowing rule-based hallucination categories to be examined across a generation path. We distinguish recurrent hallucinations, in which the same rule-based category is observed in an earlier step and again in the final query, from emergent hallucinations, in which the category is observed at the final step without an earlier detection in the same path. Across five LLMs evaluated on an expanded BIRD-mini benchmark, several categories show appreciable recurrence probabilities, while clause abuse shows comparatively higher conditional emergence. Under the conversational-history condition, recurrence probabilities are generally higher and emergence probabilities are generally lower. These observations indicate that the two conditional measures do not move uniformly in the same direction under additional context and motivate trajectory-level analysis in addition to final-output evaluation. Code and evaluation artifacts are available in the project repository. https://github.com/HaydenMM/bird-mini-drilldown