DeceptionAnalyser: A Web-Based AI Tool for Performing Structured Deception Analysis with Argumentation Schemes and LLMs
作者: Stefan Sarkadi, Xabier Garmendia, Jack Mumford, Trevor Bench-Capon
分类: cs.HC, cs.AI
发布日期: 2026-09-21
备注: 36 pages
💡 一句话要点
提出DeceptionAnalyser以解决欺骗分析的系统性挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 欺骗分析 论证方案 大型语言模型 情报操作 系统性分析
📋 核心要点
- 现有的欺骗分析方法缺乏系统性，难以在没有专家知识的情况下进行有效分析。
- 论文提出了一套十种论证方案，结合LLM进行前提提取和关键问题评估，构建了DeceptionAnalyser工具。
- 实验结果表明，该工具在清晰欺骗案例中的方案检测稳定性高，而在模糊叙述中表现出可解释的降级特性。
📝 摘要（中文）
欺骗在情报操作中扮演着重要角色，但缺乏系统分析的工具和方法。本文提出了一套十种论证方案，旨在建模不同形式的欺骗，并引入了首个专门用于欺骗分析的论证方案库。我们开发了DeceptionAnalyser，一个基于浏览器的工具，通过结合大型语言模型（LLM）进行前提提取和关键问题驱动的评估，提供了分析叙述文本中欺骗推理的概念和方法基础。该工具的设计旨在标记需要审查的主张，而非直接输出欺骗判决，从而确保分析的透明性和可解释性。
🔬 方法详解
问题定义：本文旨在解决现有欺骗分析方法缺乏系统性和标准化的问题，尤其是在缺乏论证方案的情况下，难以进行有效的统计验证。
核心思路：通过引入十种专门设计的论证方案，构建一个用于欺骗分析的结构化基础，并结合LLM进行前提提取和关键问题驱动的评估，以支持透明的欺骗分析。
技术框架：DeceptionAnalyser工具采用两阶段方法：第一阶段利用LLM提取叙述文本中的前提，第二阶段通过关键问题对提取的前提进行评估，确保分析的系统性和可靠性。
关键创新：本研究的创新点在于首次构建了专门针对欺骗分析的论证方案库，并通过结构化的论证理论与AI辅助分析相结合，提供了新的分析框架。
关键设计：工具设计中，关键参数包括论证方案的结构化前提和关键问题，评估方法侧重于一致性而非分类准确率，确保在不同模型和多次运行中的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DeceptionAnalyser在清晰欺骗案例中的方案检测稳定性高，且在模糊叙述中表现出可解释的降级特性。工具在十种大型语言模型上的一致性评估结果表明，其方法论的可靠性得到了验证。
🎯 应用场景
DeceptionAnalyser的潜在应用场景包括情报分析、法律辩论、媒体内容审核等领域。通过提供系统化的欺骗分析工具，该研究能够帮助分析师更有效地识别和评估叙述中的欺骗行为，提升决策的透明度和准确性。
📄 摘要（原文）
Deception plays a central role in Intelligence operations, yet it remains difficult to analyse systematically without expert knowledge of reasoning patterns and cognitive manipulation. In computational argumentation, for instance, no scheme-level ground-truth corpora currently exist to support statistical validation. In this paper, we address this by introducing a set of ten argument schemes designed to model distinct forms of deception, each accompanied by structured premises and critical questions. In doing so, we introduce the first dedicated library of argumentation schemes specifically designed for deception analysis, providing a structured foundation for systematically modelling and analysing deception in narrative text. We then present \textit{DeceptionAnalyser}, a browser-based tool that implements these schemes through a two-stage methodology combining LLM-based premise extraction with critical-question-driven evaluation. Our aim is to provide a conceptual and methodological foundation for analysing deceptive reasoning in narrative text. This is precisely what we address in this paper by demonstrating how structured argumentation theory and AI-assisted analysis can support transparent, explainable assessments of potential deception. Because the schemes are designed to flag claims for scrutiny rather than to output a deception verdict, we do not benchmark classification accuracy; instead, we assess the \emph{reliability} of the methodology by measuring the consistency of the tool's premise and conclusion assessments across ten contemporary large language models and repeated runs. We find that scheme detection is highly stable for clear-cut deception and degrades gracefully, in interpretable ways, on more ambiguous intelligence-style narratives.