CESBench: Benchmarking Large Language Models on Cryptographic Engineering Security for IoT Devices

📄 arXiv: 2609.21344v1 📥 PDF

作者: Wenquan Zhou, An Wang, Jing Liang, Peien Feng, Jingqi Zhang, Yaoling Ding, Liehuang Zhu

分类: cs.CR, cs.AI

发布日期: 2026-09-18

💡 一句话要点

提出CESBench以评估IoT设备的密码工程安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物联网 密码工程 安全评估 大型语言模型 基准测试 机器学习 网络安全

📋 核心要点

  1. 现有的LLM基准未涵盖IoT设备的密码工程安全，导致评估工具不足。
  2. CESBench通过380个专家编写的项目，针对IoT设备的密码工程安全进行全面评估。
  3. 实验结果显示，LLM在多项任务中的表现差异显著，尤其在安全判决的合理性上存在不足。

📝 摘要（中文）

对于物联网（IoT）设备，仅有安全算法是不够的：攻击者可以直接攻击实现，且一旦部署，其缺陷难以修复。大型语言模型（LLMs）现被用于构建和分析此类实现。尽管已有针对密码学和一般网络安全的LLM基准，但尚无涵盖密码工程的基准。本文提出CESBench，包含380个专家编写的项目，涵盖IoT设备密码工程安全的六个子领域：侧信道、故障注入、实现、对策、评估和集成。通过11个开放权重和专有LLM对每个项目进行验证，结果显示，判断类项目的得分相对较低，表明在安全判决的合理性上仍需改进。

🔬 方法详解

问题定义：本文旨在解决现有LLM基准未能覆盖IoT设备密码工程安全评估的问题，现有方法在实际应用中存在评估工具不足的痛点。

核心思路：论文提出CESBench，包含多个任务类型，旨在全面评估LLM在密码工程安全方面的能力，特别是针对IoT设备的具体需求。

技术框架：CESBench由380个项目组成，分为六个子领域，任务类型包括209个选择题、67个判断题、63个场景题和41个代码任务，采用多种评分机制进行评估。

关键创新：CESBench是首个专注于IoT设备密码工程安全的LLM基准，填补了现有基准的空白，特别是在安全判决的合理性评估方面。

关键设计：每个任务的评分机制包括自动评分和人工复核，确保结果的准确性和可靠性，尤其在判断类任务中引入了多模型交叉验证。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，LLM在多项任务中的表现差异显著：选择题的最高得分为98.6%，代码任务为95.1%，而判断类任务的得分仅为58.8%。这表明在安全判决的合理性上仍需改进，整体正确率为88.5%。

🎯 应用场景

该研究的潜在应用领域包括IoT设备的安全性评估、密码工程的教育培训以及LLM在安全领域的应用开发。通过提供标准化的评估工具，CESBench能够帮助开发者和研究人员更好地理解和改进IoT设备的安全实现，具有重要的实际价值和未来影响。

📄 摘要（原文）

For Internet of Things (IoT) devices, a secure algorithm alone is not enough: an attacker with physical access can attack the implementation directly, and its flaws are hard to fix once deployed. Large language models (LLMs) are now used to build and analyze such implementations. LLM benchmarks exist for cryptography and general cybersecurity, but none covers cryptographic engineering. In this paper, we present CESBench, 380 expert-written items across six sub-domains of cryptographic engineering security for IoT devices: side-channel, fault injection, implementation, countermeasures, evaluation, and integration. Four task types target different competences: 209 multiple-choice items test recall, 67 judgment items require a security verdict and its justification, 63 scenario items require an engineering diagnosis, and 41 code tasks are graded by 572 test cases. To validate the benchmark, 11 open-weight and proprietary LLMs answer every item. Multiple-choice and code responses are scored automatically, and judgment and scenario responses by an LLM judge, whose scores are checked against a second judge from another model family and human re-scoring. Composite scores range from 54.4% to 83.6%. The top score on each task type is 98.6% for multiple choice, 95.1% for code, and 88.4% for scenario diagnosis, but only 58.8% for judgment. Across models, 88.5% of verdicts are correct, yet their justifications earn only 53.4% of the rubric marks. Multiple choice is near its ceiling for the strongest models and most code tasks are solved, whereas justifying a security verdict remains the weakest competence. The benchmark, prompts, and per-item results are public.