Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking
作者: Greta Warren, Irina Shklovski, Isabelle Augenstein
分类: cs.HC, cs.AI, cs.CL
发布日期: 2025-02-13
备注: Conditionally accepted to CHI'25
期刊: CHI '25: Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems, 2025, 1-21
💡 一句话要点
通过访谈分析，揭示事实核查人员对可解释自动化事实核查工具的需求。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 事实核查 自动化工具 可解释性 用户研究 访谈分析
📋 核心要点
- 现有自动化事实核查工具缺乏与人工核查流程的有效对齐，导致实际应用受限。
- 通过访谈事实核查专家，论文旨在明确自动化工具所需提供的解释类型和标准。
- 研究揭示了现有工具在解释能力上的不足，并提出了改进方向，强调可追溯性和不确定性提示。
📝 摘要（中文）
大型语言模型和生成式AI在在线媒体中的普及，加剧了对有效自动化事实核查的需求，以协助事实核查人员应对日益增长且复杂的虚假信息。事实核查的复杂性要求自动化事实核查系统提供解释，使事实核查人员能够仔细审查其输出。然而，这些解释应如何与事实核查人员的决策和推理过程相一致，以便有效地整合到他们的工作流程中，这一点尚不清楚。通过与事实核查专业人员进行半结构化访谈，我们弥合了这一差距，具体方法是：(i) 描述事实核查人员如何评估证据、做出决策并解释其过程；(ii) 考察事实核查人员如何在实践中使用自动化工具；(iii) 确定事实核查人员对自动化事实核查工具的解释要求。研究结果表明，解释需求未得到满足，并确定了可复制的事实核查解释的重要标准，这些解释应追溯模型的推理路径，引用具体证据，并突出不确定性和信息差距。
🔬 方法详解
问题定义：当前自动化事实核查工具生成的解释与事实核查人员的实际工作流程不匹配，导致工具难以有效融入到人工核查过程中。现有方法未能充分理解事实核查人员的决策过程和证据评估方式，因此提供的解释不够实用和可信。
核心思路：通过深入访谈事实核查领域的专业人员，了解他们在评估证据、做出判断和解释结论时的具体步骤和考量因素。基于这些访谈数据，提炼出自动化事实核查工具所需满足的解释性要求，从而指导工具的设计和开发。
技术框架：该研究采用定性研究方法，主要包括以下几个阶段：1) 文献综述，了解现有自动化事实核查工具及其解释方法；2) 设计半结构化访谈提纲，涵盖事实核查流程、证据评估标准、自动化工具使用情况等方面；3) 招募并访谈事实核查领域的专业人员；4) 对访谈数据进行编码和分析，识别出事实核查人员对解释性要求的关键要素；5) 总结研究结果，提出改进自动化事实核查工具解释性的建议。
关键创新：该研究的创新之处在于，它不是从技术角度出发，而是从用户（事实核查人员）的角度出发，来定义自动化事实核查工具的解释性需求。这种以用户为中心的设计思路，有助于开发出更符合实际需求、更易于被事实核查人员接受和使用的自动化工具。
关键设计：访谈提纲的设计是关键。提纲需要涵盖事实核查的各个环节，包括信息来源评估、证据收集、证据评估、结论生成和解释等。此外，提纲还需要关注自动化工具的使用情况，了解事实核查人员对现有工具的评价和期望。访谈数据的编码和分析也至关重要，需要采用严谨的方法，确保研究结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
研究通过访谈揭示了事实核查人员对自动化工具解释性的具体需求，包括追溯模型推理路径、引用具体证据、突出不确定性和信息差距等。这些发现为改进自动化事实核查工具的解释能力提供了重要的指导。
🎯 应用场景
该研究成果可应用于改进自动化事实核查工具的设计，使其更好地服务于事实核查人员。通过提供更清晰、可信和可追溯的解释，自动化工具可以提高事实核查的效率和准确性，从而减少虚假信息的传播，维护网络空间的健康。
📄 摘要（原文）
The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.