DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents

📄 arXiv: 2610.21561v1 📥 PDF

作者: Sergio Burdisso, Esaú Villatoro-Tello, Dairazalia Sánchez-Cortés, Yanis Labrak, Jordi Luque, Milos Cernak, Petr Motlicek

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出DialFork以评估对话体中的程序性幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 程序性幻觉 大型语言模型 评估基准 对话流感知 人工智能 机器学习

📋 核心要点

  1. 现有对话代理在遵循程序逻辑方面存在不足，尤其是程序性幻觉未得到充分研究。
  2. DialFork通过在对话中注入幻觉类型，构建了一个新的基准来评估程序性偏差。
  3. FlowScore在对话层面上显著优于所有基线，表明语义相似性无法替代程序相似性。

📝 摘要（中文）

随着大型语言模型（LLMs）作为对话代理的广泛应用，越来越多的期望是它们能够遵循程序逻辑。尽管事实幻觉问题已受到广泛关注，但程序性幻觉这一失败模式却被忽视。本文提出了DialFork，这是第一个用于衡量这一失败模式的基准，涵盖了36,278个对话，涉及24个任务和12个领域。我们定义了三种评估任务，提出了对话流感知的度量标准FlowKL和FlowScore，显著提升了对话的程序相似性评估。DialFork已在MIT许可下发布，期待社区在内容之外也能关注对话过程的评估。

🔬 方法详解

问题定义：本文旨在解决对话代理在遵循程序逻辑时出现的程序性幻觉问题。现有方法主要关注事实幻觉，未能有效评估程序性偏差。

核心思路：DialFork通过在符合标准的对话中引入不同类型的幻觉，构建了一个新的基准，以便更好地评估对话的程序性偏差。

技术框架：DialFork的整体架构包括对话的构建、幻觉类型的注入以及三个评估任务的定义，分别关注对话的整体偏差、单个对话的偏差及实时监控。

关键创新：DialFork的主要创新在于引入了对话流感知的度量标准FlowKL和FlowScore，强调了程序相似性的重要性，超越了传统的语义相似性评估。

关键设计：在评估过程中，FlowScore在七种编码器上表现优异，具体参数设置和损失函数设计尚未详细披露，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，FlowScore在对话层面上显著优于所有基线，表明其在评估程序性偏差方面的有效性。具体来说，FlowScore在七种不同编码器上均表现出色，显示出其在对话流的评估中具有明显的优势。

🎯 应用场景

DialFork的研究成果可广泛应用于对话系统的开发与评估，尤其是在需要遵循复杂程序逻辑的场景中，如客户服务、教育辅导和医疗咨询等领域。通过关注程序性偏差，开发者可以更好地优化对话代理的性能，提升用户体验。

📄 摘要（原文）

Large language models (LLMs) deployed as conversational agents are increasingly expected to follow procedural logic. While factual hallucination has received extensive attention, a different failure mode has been overlooked: procedural hallucination, in which an agent produces individually fluent and factually plausible utterances while deviating from the intended conversational process. We introduce DialFork, the first benchmark to measure this failure mode on raw dialogue text. DialFork is built by forking conformant dialogues at controlled turn positions and injecting one of four hallucination types, yielding 36,278 dialogues across 24 tasks in 12 domains; 30 human annotators validate the construction. We define three evaluation tasks that characterize procedural deviation at three granularities: how far a set of dialogues deviates from conformant ones (monitoring deployed agents), how far a single dialogue does (procedural retrieval), and at which turn a dialogue first goes off-track (real-time guardrails). For the first two, we propose dialog-flow-aware metrics, FlowKL and FlowScore, that compare dialogues by how they unfold rather than their content. At the dialogue level, FlowScore significantly outperforms all baselines across seven encoders, showing that semantic similarity is no substitute for procedural similarity. We release DialFork under the MIT license at https://github.com/idiap/dialfork, hoping the community will measure conversational process alongside content.