Large Language Models Help Humans Verify Truthfulness -- Except When They Are Convincingly Wrong

📄 arXiv: 2310.12558v2 📥 PDF

作者: Chenglei Si, Navita Goyal, Sherry Tongshuang Wu, Chen Zhao, Shi Feng, Hal Daumé, Jordan Boyd-Graber

分类: cs.CL, cs.HC

发布日期: 2023-10-19 (更新: 2024-04-01)

备注: NAACL 2024

💡 一句话要点

提出对比性解释以减少对大型语言模型的过度依赖

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信息核查 对比性解释 用户依赖 搜索引擎 实验研究 决策支持

📋 核心要点

  1. 现有方法在信息核查中存在过度依赖大型语言模型的问题，尤其在模型提供错误解释时。
  2. 论文提出通过对比性解释的方式，要求LLMs同时阐述主张的真伪，从而帮助用户更全面地理解信息。
  3. 实验结果表明，用户在使用对比性解释时的过度依赖有所减轻，但整体效果未能显著超越传统搜索引擎。

📝 摘要（中文）

大型语言模型（LLMs）在网络信息获取中日益普及，其真实性和事实性备受关注。为帮助用户做出正确的信息决策，LLMs不仅需要提供信息，还应协助用户进行事实核查。本文通过对80名众包工作者的实验，比较了语言模型与搜索引擎在促进事实核查方面的表现。结果显示，用户在阅读LLM解释时效率显著高于使用搜索引擎，但在解释错误时容易过度依赖LLMs。为减少这种过度依赖，本文提出让LLMs提供对比性信息，即同时解释某一主张为何成立和不成立。尽管这种对比性解释能减轻用户的过度依赖，但相较于搜索引擎并未显著提升效果。整体而言，LLMs的自然语言解释在高风险环境中并不能可靠替代检索到的内容。

🔬 方法详解

问题定义：本文旨在解决用户在使用大型语言模型进行信息核查时，因过度依赖错误解释而导致的决策失误问题。现有方法未能有效引导用户辨别信息的真实性。

核心思路：论文提出让LLMs提供对比性解释，要求模型同时解释某一主张的真实性和虚假性，以帮助用户更全面地评估信息的可靠性。这样的设计旨在减少用户对单一模型解释的依赖。

技术框架：整体流程包括：首先，用户提交待核查的主张；然后，LLMs生成关于该主张的对比性解释；最后，用户根据这些解释进行判断。主要模块包括信息输入、对比性解释生成和用户反馈。

关键创新：最重要的技术创新在于引入对比性解释的概念，使得用户能够同时接触到主张的正反两面，从而增强信息评估的全面性。这与传统的单一解释方法形成鲜明对比。

关键设计：在模型设计中，采用了特定的提示策略，以确保LLMs能够生成有效的对比性解释。此外，实验中对用户的反馈机制进行了优化，以便更好地评估模型的有效性。具体的参数设置和损失函数设计在论文中有详细描述。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，使用LLM解释的用户在效率上显著高于使用搜索引擎的用户，尽管在错误解释的情况下，用户对LLMs的依赖性显著增加。对比性解释的引入在一定程度上减轻了这种依赖，但整体效果未能显著超越搜索引擎，显示出LLMs在高风险环境中的局限性。

🎯 应用场景

该研究的潜在应用领域包括新闻验证、社交媒体内容审核和教育领域的信息素养提升。通过提供更可靠的信息核查工具，能够帮助用户在高风险环境中做出更明智的决策，减少因错误信息带来的负面影响。未来，该方法有望在更多信息获取场景中推广应用。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used for accessing information on the web. Their truthfulness and factuality are thus of great interest. To help users make the right decisions about the information they get, LLMs should not only provide information but also help users fact-check it. Our experiments with 80 crowdworkers compare language models with search engines (information retrieval systems) at facilitating fact-checking. We prompt LLMs to validate a given claim and provide corresponding explanations. Users reading LLM explanations are significantly more efficient than those using search engines while achieving similar accuracy. However, they over-rely on the LLMs when the explanation is wrong. To reduce over-reliance on LLMs, we ask LLMs to provide contrastive information - explain both why the claim is true and false, and then we present both sides of the explanation to users. This contrastive explanation mitigates users' over-reliance on LLMs, but cannot significantly outperform search engines. Further, showing both search engine results and LLM explanations offers no complementary benefits compared to search engines alone. Taken together, our study highlights that natural language explanations by LLMs may not be a reliable replacement for reading the retrieved passages, especially in high-stakes settings where over-relying on wrong AI explanations could lead to critical consequences.