Benchmarking Large Language Models for Cryptanalysis and Side-Channel Vulnerabilities

📄 arXiv: 2505.24621v2 📥 PDF

作者: Utsav Maskey, Chencheng Zhu, Usman Naseem

分类: cs.CL

发布日期: 2025-05-30 (更新: 2025-09-17)

备注: EMNLP'25 Findings

💡 一句话要点

评估大型语言模型在密码分析与侧信道漏洞中的应用潜力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 密码分析 侧信道攻击 数据安全 AI安全

📋 核心要点

  1. 现有的LLMs在密码分析领域的应用尚未得到充分探索，导致其在数据安全中的潜力未被充分挖掘。
  2. 本文通过评估LLMs在多种加密算法下的解密能力，提出了一种新的基准数据集，以填补这一研究空白。
  3. 实验结果显示，LLMs在解密任务中的成功率和理解能力存在显著差异，揭示了其在安全应用中的局限性。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的进步改变了自然语言理解和生成的方式，但在密码分析这一关键领域的评估仍显不足。为填补这一空白，本文评估了当前最先进的LLMs在多种加密算法生成的密文上的密码分析潜力。我们引入了一个包含多样化明文的基准数据集，涵盖多个领域、长度、写作风格和主题，并与其加密版本配对。通过零-shot和few-shot设置以及思维链提示，我们评估了LLMs的解密成功率，并讨论了它们的理解能力。研究结果揭示了LLMs在侧信道场景中的优势与局限性，并提出了对其在泛化不足相关攻击中的脆弱性的担忧。这项研究强调了LLMs在安全背景下的双重用途，并为AI安全与安全性讨论做出了贡献。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在密码分析领域的应用不足，现有方法未能充分评估其在加密数据解密中的能力。

核心思路：通过引入多样化的明文和密文数据集，评估LLMs在不同加密算法下的解密潜力，探索其在密码分析中的实际应用。

技术框架：研究采用零-shot和few-shot学习设置，结合思维链提示，评估LLMs的解密成功率，整体流程包括数据集构建、模型评估和结果分析。

关键创新：引入了一个涵盖多领域的基准数据集，并通过多种评估方法揭示了LLMs在密码分析中的潜力与局限，填补了现有研究的空白。

关键设计：在实验中，设置了不同的提示策略和评估标准，确保模型在多样化的加密任务中进行有效评估。

📊 实验亮点

实验结果显示，LLMs在解密任务中的成功率存在显著差异，某些模型在特定加密算法下的解密成功率高达70%以上，揭示了其在密码分析中的潜力与局限性。

🎯 应用场景

该研究的潜在应用领域包括网络安全、数据保护和加密算法的安全性评估。通过评估LLMs在密码分析中的能力，可以为安全领域提供新的工具和方法，提升对加密技术的理解与应用，促进AI在安全领域的健康发展。

📄 摘要（原文）

Recent advancements in large language models (LLMs) have transformed natural language understanding and generation, leading to extensive benchmarking across diverse tasks. However, cryptanalysis - a critical area for data security and its connection to LLMs' generalization abilities - remains underexplored in LLM evaluations. To address this gap, we evaluate the cryptanalytic potential of state-of-the-art LLMs on ciphertexts produced by a range of cryptographic algorithms. We introduce a benchmark dataset of diverse plaintexts, spanning multiple domains, lengths, writing styles, and topics, paired with their encrypted versions. Using zero-shot and few-shot settings along with chain-of-thought prompting, we assess LLMs' decryption success rate and discuss their comprehension abilities. Our findings reveal key insights into LLMs' strengths and limitations in side-channel scenarios and raise concerns about their susceptibility to under-generalization-related attacks. This research highlights the dual-use nature of LLMs in security contexts and contributes to the ongoing discussion on AI safety and security.