RACONTEUR: A Knowledgeable, Insightful, and Portable LLM-Powered Shell Command Explainer
作者: Jiangyi Deng, Xinfeng Li, Yanjiao Chen, Yijie Bai, Haiqin Weng, Yan Liu, Tao Wei, Wenyuan Xu
分类: cs.CR, cs.HC, cs.LG, cs.SE
发布日期: 2024-09-03
备注: Accepted by NDSS Symposium 2025. Please cite this paper as "Jiangyi Deng, Xinfeng Li, Yanjiao Chen, Yijie Bai, Haiqin Weng, Yan Liu, Tao Wei, Wenyuan Xu. RACONTEUR: A Knowledgeable, Insightful, and Portable LLM-Powered Shell Command Explainer. In the 32nd Annual Network and Distributed System Security Symposium (NDSS 2025)."
💡 一句话要点
Raconteur：一个基于LLM的、博学且可移植的Shell命令解释器
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Shell命令解释 大型语言模型 网络安全 MITRE ATT&CK 恶意代码分析 文档检索 安全分析
📋 核心要点
- 现有通用LLM在解释复杂或混淆的shell命令时，缺乏专业知识，容易产生幻觉，难以满足安全分析的需求。
- Raconteur通过融入专业知识，提供行为和目的双重解释，并将自然语言解释映射到MITRE ATT&CK框架，从而提升解释的深度和准确性。
- Raconteur利用文档检索器处理未见过的私有命令，并通过大规模数据集训练和实验验证，证明其能够提供高质量和深入的命令意图分析。
📝 摘要（中文）
恶意shell命令是许多网络攻击的关键，但由于复杂且经常伪装的代码结构，安全分析师可能难以理解。大型语言模型（LLM）的进步开启了为shell命令生成易于理解的解释的可能性。然而，现有的通用LLM在shell命令解释任务中缺乏专业知识，并且容易产生幻觉。本文提出了Raconteur，一个由LLM驱动的、博学、富有表现力且可移植的shell命令解释器。Raconteur融入了专业知识，可以对shell命令提供全面的解释，不仅包括命令的作用（即行为），还包括命令这样做的原因（即目的）。为了阐明命令的高级意图，我们还将基于自然语言的解释转化为MITRE ATT&CK定义的标准技术和策略，MITRE ATT&CK是全球网络安全知识库。为了使Raconteur能够解释未见过的私有命令，我们进一步开发了一个文档检索器，以从补充文档中获取相关信息，从而辅助解释过程。我们创建了一个大规模数据集用于训练，并进行了广泛的实验来评估Raconteur在shell命令解释方面的能力。实验验证了Raconteur能够提供高质量的解释和对命令意图的深入洞察。
🔬 方法详解
问题定义：论文旨在解决安全分析师难以理解复杂或混淆的shell命令的问题。现有通用LLM在解释此类命令时，缺乏专业的安全知识，容易产生幻觉，无法提供准确和深入的解释，从而阻碍了安全分析的效率和准确性。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大能力，并注入专业的安全知识，使其能够理解shell命令的行为和目的，并将解释映射到MITRE ATT&CK框架，从而提供更全面、深入和准确的解释。此外，通过文档检索器处理未见过的私有命令，增强了模型的泛化能力。
技术框架：Raconteur的整体框架包含以下几个主要模块：1) LLM核心解释器：利用预训练的LLM作为基础，负责生成shell命令的自然语言解释。2) 专业知识注入模块：将专业的安全知识（例如，MITRE ATT&CK框架）融入到LLM中，使其能够理解命令的意图和潜在威胁。3) 文档检索器：用于检索与未见过的私有命令相关的文档，为LLM提供补充信息。4) 解释映射模块：将自然语言解释映射到MITRE ATT&CK框架中的标准技术和策略。
关键创新：Raconteur的关键创新在于：1) 融合了专业安全知识，能够提供行为和目的双重解释，而不仅仅是命令的功能。2) 将解释映射到MITRE ATT&CK框架，从而提供更高级别的意图分析。3) 引入文档检索器，增强了对未见过的私有命令的解释能力。与现有方法相比，Raconteur能够提供更全面、深入和准确的shell命令解释。
关键设计：论文中没有详细描述关键的参数设置、损失函数、网络结构等技术细节。文档检索器的具体实现方式（例如，使用的索引方法和相似度度量）未知。LLM的微调策略和使用的具体模型也未知。MITRE ATT&CK框架的映射规则和实现细节也未知。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了Raconteur在shell命令解释方面的能力，表明其能够提供高质量的解释和对命令意图的深入洞察。具体的性能数据、对比基线和提升幅度在摘要中没有明确给出，需要查阅论文全文才能得知。
🎯 应用场景
Raconteur可应用于网络安全领域，帮助安全分析师快速理解恶意shell命令，识别潜在的网络攻击，并采取相应的防御措施。它还可以用于安全培训和教育，帮助安全从业人员提高对恶意代码的理解能力。此外，Raconteur还可以集成到安全工具和平台中，提供自动化的shell命令解释功能。
📄 摘要（原文）
Malicious shell commands are linchpins to many cyber-attacks, but may not be easy to understand by security analysts due to complicated and often disguised code structures. Advances in large language models (LLMs) have unlocked the possibility of generating understandable explanations for shell commands. However, existing general-purpose LLMs suffer from a lack of expert knowledge and a tendency to hallucinate in the task of shell command explanation. In this paper, we present Raconteur, a knowledgeable, expressive and portable shell command explainer powered by LLM. Raconteur is infused with professional knowledge to provide comprehensive explanations on shell commands, including not only what the command does (i.e., behavior) but also why the command does it (i.e., purpose). To shed light on the high-level intent of the command, we also translate the natural-language-based explanation into standard technique & tactic defined by MITRE ATT&CK, the worldwide knowledge base of cybersecurity. To enable Raconteur to explain unseen private commands, we further develop a documentation retriever to obtain relevant information from complementary documentations to assist the explanation process. We have created a large-scale dataset for training and conducted extensive experiments to evaluate the capability of Raconteur in shell command explanation. The experiments verify that Raconteur is able to provide high-quality explanations and in-depth insight of the intent of the command.