Can Large Language Models Provide Security & Privacy Advice? Measuring the Ability of LLMs to Refute Misconceptions
作者: Yufan Chen, Arjun Arunasalam, Z. Berkay Celik
分类: cs.HC, cs.CL
发布日期: 2023-10-03
备注: Accepted to the Annual Computer Security Applications Conference (ACSAC), 2023
💡 一句话要点
评估大型语言模型在安全与隐私建议中的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 安全与隐私 误解反驳 信息源评估 模型准确性
📋 核心要点
- 现有研究未充分探讨大型语言模型在提供安全与隐私建议方面的可靠性，尤其是其对公众误解的反驳能力。
- 论文通过整理S&P相关误解数据集，并对Bard和ChatGPT进行多次查询，评估其回应的准确性和有效性。
- 实验结果显示，两者在反驳误解方面存在显著错误率，且提供的参考链接的有效性也存在问题，反映出LLMs的局限性。
📝 摘要（中文）
用户在网上寻求安全与隐私（S&P）建议，包括可信网站和内容分享平台。这些资源帮助用户理解S&P技术和工具，并建议可行策略。大型语言模型（LLMs）作为信息来源的可信性受到质疑。本文测量LLMs反驳公众普遍持有的S&P误解的能力。研究首先整理了六个主题下的百余个S&P相关误解数据集，然后对两个流行的LLMs（Bard和ChatGPT）进行查询，评估其对这些误解的回应。结果显示，两者平均错误率为21.3%，在重复查询时错误率上升至32.6%。此外，模型可能部分支持误解或保持不明确态度，且提供无效或不相关的URL的情况较为普遍。
🔬 方法详解
问题定义：本文旨在评估大型语言模型在提供安全与隐私建议时的准确性，尤其是其反驳公众误解的能力。现有研究指出LLMs在多项选择题回答中的不足，但对其在S&P领域的表现缺乏深入分析。
核心思路：论文通过构建包含S&P相关误解的数据集，系统性地评估LLMs对这些误解的回应，旨在揭示其在安全与隐私建议中的可靠性和局限性。
技术框架：研究首先整理了六个主题下的S&P误解数据集，然后对两个流行的LLMs进行多次查询，评估其回应的准确性，采用了多种策略，包括重复查询和生成同义句。
关键创新：该研究首次系统性地评估了LLMs在安全与隐私建议中的表现，揭示了其在反驳公众误解方面的显著错误率，填补了这一领域的研究空白。
关键设计：研究中采用了多次查询和同义句生成的策略，以全面评估模型的反应。同时，开发了标注指南以确保评估的一致性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Bard和ChatGPT在反驳S&P误解方面的平均错误率为21.3%，在重复查询时错误率上升至32.6%。此外，Bard和ChatGPT分别有21.2%和67.7%的无效URL提供率，显示出其在信息源选择上的不足。
🎯 应用场景
该研究的结果对安全与隐私领域的教育和信息传播具有重要意义，尤其是在提高公众对S&P技术的理解和减少误解方面。未来，LLMs可以作为辅助工具，帮助用户获取更准确的安全与隐私建议，从而提升网络安全意识。
📄 摘要（原文）
Users seek security & privacy (S&P) advice from online resources, including trusted websites and content-sharing platforms. These resources help users understand S&P technologies and tools and suggest actionable strategies. Large Language Models (LLMs) have recently emerged as trusted information sources. However, their accuracy and correctness have been called into question. Prior research has outlined the shortcomings of LLMs in answering multiple-choice questions and user ability to inadvertently circumvent model restrictions (e.g., to produce toxic content). Yet, the ability of LLMs to provide reliable S&P advice is not well-explored. In this paper, we measure their ability to refute popular S&P misconceptions that the general public holds. We first study recent academic literature to curate a dataset of over a hundred S&P-related misconceptions across six different topics. We then query two popular LLMs (Bard and ChatGPT) and develop a labeling guide to evaluate their responses to these misconceptions. To comprehensively evaluate their responses, we further apply three strategies: query each misconception multiple times, generate and query their paraphrases, and solicit source URLs of the responses. Both models demonstrate, on average, a 21.3% non-negligible error rate, incorrectly supporting popular S&P misconceptions. The error rate increases to 32.6% when we repeatedly query LLMs with the same or paraphrased misconceptions. We also expose that models may partially support a misconception or remain noncommittal, refusing a firm stance on misconceptions. Our exploration of information sources for responses revealed that LLMs are susceptible to providing invalid URLs (21.2% for Bard and 67.7% for ChatGPT) or point to unrelated sources (44.2% returned by Bard and 18.3% by ChatGPT).