Generating Privacy Stories From Software Documentation

📄 arXiv: 2506.23014v1 📥 PDF

作者: Wilder Baldwin, Shashank Chintakuntla, Shreyah Parajuli, Ali Pourghasemi, Ryan Shanz, Sepideh Ghanavati

分类: cs.SE, cs.AI

发布日期: 2025-06-28

备注: Accepted to RENext!'25 at the 33rd IEEE International Requirements Engineering 2025 conference

💡 一句话要点

提出基于LLM的隐私故事生成方法，从软件文档中提取隐私需求

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 软件开发 大型语言模型 用户故事生成 思维链提示

📋 核心要点

  1. 现有方法在软件开发中对隐私的考虑不足，通常将其作为安全概念的附属品，导致用户隐私易受侵犯。
  2. 该论文提出利用大型语言模型（LLM），结合思维链提示和上下文学习，从软件文档中自动提取隐私行为并生成用户故事。
  3. 实验结果表明，GPT-4o和Llama 3等模型在识别隐私行为和生成隐私用户故事方面表现出色，F1分数超过0.8，且可通过参数调优进一步提升。

📝 摘要（中文）

研究表明，分析师和开发者通常将隐私视为安全概念或事后考虑，这可能导致不合规和侵犯用户隐私。当前大多数方法侧重于从法规中提取法律要求，并评估软件和流程的合规性。本文提出了一种新颖的方法，基于思维链提示（CoT）、上下文学习（ICL）和大型语言模型（LLM），在软件开发之前和期间从各种软件文档中提取隐私行为，然后生成用户故事格式的隐私需求。结果表明，GPT-4o和Llama 3等常用LLM可以识别隐私行为并生成隐私用户故事，F1分数超过0.8。参数调优可以进一步提高这些模型的性能。研究结果为使用和优化LLM以根据软件开发生命周期之前或整个过程中创建的软件文档生成隐私需求提供了见解。

🔬 方法详解

问题定义：现有软件开发流程中，隐私需求往往被忽视，开发者通常将隐私视为安全概念的一部分，或者在开发后期才考虑。现有的隐私合规方法主要集中于从法律法规中提取需求，缺乏从软件文档中主动识别和提取隐私行为的能力，导致软件在设计阶段就可能存在隐私风险。

核心思路：该论文的核心思路是利用大型语言模型（LLM）的强大自然语言理解和生成能力，从软件文档中自动提取隐私相关的行为，并将其转化为用户故事的形式。通过这种方式，可以在软件开发的早期阶段就明确隐私需求，并将其融入到开发流程中。

技术框架：该方法主要包含以下几个阶段：1) 输入软件文档：收集软件开发生命周期各个阶段产生的文档，如需求文档、设计文档、代码注释等。2) LLM提示工程：设计合适的提示语（prompts），包括思维链提示（CoT）和上下文学习（ICL），引导LLM识别文档中的隐私行为。3) 隐私行为提取：LLM根据提示语，从文档中提取与隐私相关的行为描述。4) 用户故事生成：将提取的隐私行为转化为用户故事的形式，例如“作为一个用户，我希望能够控制我的数据被如何使用，以便保护我的隐私”。

关键创新：该论文的关键创新在于将LLM应用于软件隐私需求的自动提取和生成。与传统方法相比，该方法无需人工定义复杂的规则或模板，而是利用LLM的自然语言理解能力，直接从软件文档中学习隐私相关的知识。此外，结合思维链提示和上下文学习，可以有效提高LLM的识别准确率和生成质量。

关键设计：在提示工程方面，论文采用了思维链提示（CoT），引导LLM逐步分析文档内容，推理出其中的隐私行为。同时，利用上下文学习（ICL），向LLM提供一些示例，帮助其更好地理解隐私相关的概念和模式。具体参数设置和网络结构信息未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-4o和Llama 3等常用LLM在识别隐私行为和生成隐私用户故事方面表现出色，F1分数超过0.8。这表明LLM在软件隐私需求提取方面具有很高的潜力。此外，通过参数调优，可以进一步提高这些模型的性能，使其更好地适应不同的软件文档和隐私场景。这些结果验证了该方法的有效性和可行性。

🎯 应用场景

该研究成果可应用于软件开发的各个阶段，帮助开发者在早期识别和满足隐私需求，降低隐私泄露的风险。通过自动化生成隐私用户故事，可以提高开发效率，并确保软件符合相关的隐私法规。此外，该方法还可以用于评估现有软件的隐私合规性，发现潜在的隐私漏洞，并提供改进建议。未来，该技术有望集成到软件开发工具链中，实现隐私保护的自动化和智能化。

📄 摘要（原文）

Research shows that analysts and developers consider privacy as a security concept or as an afterthought, which may lead to non-compliance and violation of users' privacy. Most current approaches, however, focus on extracting legal requirements from the regulations and evaluating the compliance of software and processes with them. In this paper, we develop a novel approach based on chain-of-thought prompting (CoT), in-context-learning (ICL), and Large Language Models (LLMs) to extract privacy behaviors from various software documents prior to and during software development, and then generate privacy requirements in the format of user stories. Our results show that most commonly used LLMs, such as GPT-4o and Llama 3, can identify privacy behaviors and generate privacy user stories with F1 scores exceeding 0.8. We also show that the performance of these models could be improved through parameter-tuning. Our findings provide insight into using and optimizing LLMs for generating privacy requirements given software documents created prior to or throughout the software development lifecycle.