DnDScore: Decontextualization and Decomposition for Factuality Verification in Long-Form Text Generation
作者: Miriam Wanner, Benjamin Van Durme, Mark Dredze
分类: cs.CL
发布日期: 2024-12-17
💡 一句话要点
提出DnDScore，通过解构和去语境化提升长文本生成的事实性验证效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 事实性验证 长文本生成 大型语言模型 分解-验证策略 去语境化
📋 核心要点
- 现有事实性验证方法在长文本生成中面临挑战，尤其是在分解和去语境化策略的协同使用上。
- DnDScore通过感知去语境化的信息，在验证子声明时考虑上下文，从而提升验证的准确性。
- 实验表明，分解、去语境化和验证策略的选择对事实性评分至关重要，DnDScore表现出优越性。
📝 摘要（中文）
本文针对大型语言模型（LLM）生成文本的事实性验证问题，探讨了分解-验证策略中分解和去语境化两种技术的相互作用。分解将复杂声明拆解为可独立验证的原子事实，而去语境化则增强文本（声明），使其可以在原始语境之外进行验证，从而实现可靠的验证。虽然分解和去语境化已被独立研究，但它们在完整系统中的相互作用尚未得到充分考察。它们的目的可能存在冲突：分解隔离原子事实，而去语境化插入相关信息。此外，去语境化的子声明给验证步骤带来了挑战：现在增强的文本包含多个原子事实，应该验证哪一部分？本文评估了不同的分解、去语境化和验证策略，发现策略的选择对最终的事实性评分有重要影响。此外，本文还介绍了一种去语境化感知的验证方法DnDScore，该方法在语境信息的上下文中验证子声明。
🔬 方法详解
问题定义：论文旨在解决长文本生成中事实性验证的难题。现有方法，特别是基于分解-验证策略的方法，在分解和去语境化协同工作时存在问题。分解将复杂声明拆解为原子事实，而去语境化则为原子事实补充上下文信息以便独立验证。然而，这两种操作可能产生冲突，并且去语境化后的子声明包含多个事实，难以确定验证目标。
核心思路：论文的核心思路是设计一种去语境化感知的验证方法，即DnDScore。DnDScore的核心在于，它不仅验证分解后的子声明，而且会考虑去语境化过程中添加的上下文信息。通过这种方式，DnDScore能够更准确地判断子声明的真实性，从而提高整体的事实性验证效果。
技术框架：DnDScore的整体框架包含三个主要阶段：分解（Decomposition）、去语境化（Decontextualization）和验证（Verification）。首先，将长文本分解为多个子声明。然后，对每个子声明进行去语境化，即添加必要的上下文信息，使其可以在原始语境之外独立验证。最后，使用DnDScore验证每个去语境化后的子声明，并综合所有子声明的验证结果，得到整个长文本的事实性评分。
关键创新：DnDScore的关键创新在于其去语境化感知的验证方法。与传统的验证方法不同，DnDScore在验证子声明时，会考虑去语境化过程中添加的上下文信息。这使得DnDScore能够更准确地判断子声明的真实性，从而提高整体的事实性验证效果。
关键设计：DnDScore的具体实现细节取决于所使用的分解、去语境化和验证策略。例如，分解可以使用基于规则的方法或基于模型的方法。去语境化可以使用基于检索的方法或基于生成的方法。验证可以使用基于知识库的方法或基于语言模型的方法。DnDScore本身并不限定具体的实现方式，而是提供了一种通用的框架，可以灵活地选择不同的策略。
🖼️ 关键图片
📊 实验亮点
论文通过实验证明，分解、去语境化和验证策略的选择对事实性评分有显著影响。DnDScore作为一种去语境化感知的验证方法，在实验中表现出优于传统方法的性能，能够更准确地评估长文本生成的事实性。
🎯 应用场景
DnDScore可应用于各种长文本生成场景的事实性验证，例如新闻报道生成、摘要生成、对话生成等。该研究有助于提高生成文本的可靠性和可信度，减少虚假信息的传播，具有重要的社会价值和应用前景。未来，可以进一步研究如何优化分解和去语境化策略，以及如何将DnDScore与其他事实性验证方法相结合。
📄 摘要（原文）
The decompose-then-verify strategy for verification of Large Language Model (LLM) generations decomposes claims that are then independently verified. Decontextualization augments text (claims) to ensure it can be verified outside of the original context, enabling reliable verification. While decomposition and decontextualization have been explored independently, their interactions in a complete system have not been investigated. Their conflicting purposes can create tensions: decomposition isolates atomic facts while decontextualization inserts relevant information. Furthermore, a decontextualized subclaim presents a challenge to the verification step: what part of the augmented text should be verified as it now contains multiple atomic facts? We conduct an evaluation of different decomposition, decontextualization, and verification strategies and find that the choice of strategy matters in the resulting factuality scores. Additionally, we introduce DnDScore, a decontextualization aware verification method which validates subclaims in the context of contextual information.