Unveiling the Landscape of LLM Deployment in the Wild: An Empirical Study
作者: Xinyi Hou, Jiahao Han, Yanjie Zhao, Haoyu Wang
分类: cs.CR, cs.AI, cs.SE
发布日期: 2025-05-05 (更新: 2025-08-26)
💡 一句话要点
大规模实证研究揭示公共LLM部署中的安全漏洞与风险
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 LLM部署 安全漏洞 实证研究 互联网测量
📋 核心要点
- 现有LLM部署常因不安全默认配置和错误配置暴露于公网，面临严重安全风险。
- 通过大规模互联网测量，识别并分析公共LLM服务的暴露特征、漏洞和风险。
- 发现大量服务使用不安全协议和配置，存在模型泄露、系统入侵等潜在威胁。
📝 摘要（中文）
大型语言模型（LLM）正日益通过开源和商业框架部署，使个人和组织能够自主托管先进的LLM能力。随着LLM部署变得普遍，尤其是在工业界，确保其安全可靠的运行已成为一个关键问题。然而，不安全的默认配置和错误配置常常将LLM服务暴露于公共互联网，带来严重的安全和系统工程风险。本研究对面向公众的LLM部署进行了大规模实证调查，重点关注服务的普遍性、暴露特征、系统性漏洞和相关风险。通过互联网范围的测量，我们识别了跨15个框架的320,102个面向公众的LLM服务，并提取了158个独特的API端点，根据功能和安全风险将其分为12个功能组。我们的分析发现，超过40%的端点使用纯HTTP，超过210,000个端点缺乏有效的TLS元数据。API暴露高度不一致：某些框架（如Ollama）响应超过35%的未经身份验证的API请求，约15%泄露模型或系统信息，而其他框架实施了更严格的控制。我们观察到不安全协议的广泛使用、糟糕的TLS配置以及对关键操作的未经身份验证的访问。这些安全风险（如模型泄露、系统入侵和未经授权的访问）普遍存在，并强调了对默认安全框架和更强大的部署实践的需求。
🔬 方法详解
问题定义：论文旨在解决大规模部署的LLM服务所面临的安全风险问题。现有方法缺乏对实际部署情况的全面了解，难以评估和解决潜在的安全漏洞。不安全的默认配置和错误配置导致LLM服务暴露于公共互联网，增加了攻击面。
核心思路：论文的核心思路是通过大规模互联网测量，识别并分析公共LLM服务的暴露特征、系统性漏洞和相关风险。通过对不同框架和API端点的分析，揭示LLM部署中存在的安全问题，并为改进安全实践提供依据。
技术框架：该研究采用互联网范围的测量方法，主要包括以下几个阶段： 1. 服务发现：通过互联网扫描识别面向公众的LLM服务。 2. API提取：提取LLM服务的API端点，并进行分类。 3. 漏洞分析：分析API端点的安全配置，识别潜在的安全漏洞。 4. 风险评估：评估不同漏洞可能带来的风险，如模型泄露、系统入侵等。
关键创新：该研究的关键创新在于其大规模实证分析方法，能够全面了解LLM部署的实际情况。通过对大量真实数据的分析，揭示了现有LLM部署中存在的普遍安全问题，为改进安全实践提供了有力的支持。与以往的研究相比，该研究更加关注实际部署环境中的安全问题，而非仅仅关注理论上的漏洞。
关键设计：研究中涉及的关键设计包括： 1. API端点分类：根据功能和安全风险将API端点分为12个功能组，便于进行针对性的安全分析。 2. 安全指标定义：定义了一系列安全指标，如HTTP使用率、TLS配置情况、身份验证机制等，用于评估API端点的安全性。 3. 漏洞评估方法：采用自动化和人工分析相结合的方法，评估API端点存在的漏洞及其潜在风险。
🖼️ 关键图片
📊 实验亮点
研究发现，超过40%的LLM服务API端点使用纯HTTP协议，超过210,000个端点缺乏有效的TLS元数据。Ollama等框架在未经身份验证的情况下响应超过35%的API请求，约15%泄露模型或系统信息。这些数据表明，LLM部署中存在严重的安全风险，需要采取有效措施加以解决。
🎯 应用场景
该研究成果可应用于提升LLM部署的安全性，帮助开发者和运维人员识别和修复潜在的安全漏洞。通过推广安全默认配置和最佳实践，可以降低LLM服务暴露于公共互联网的风险，保护用户数据和系统安全。此外，该研究还可以为安全审计和合规性检查提供参考。
📄 摘要（原文）
Large language models (LLMs) are increasingly deployed through open-source and commercial frameworks, enabling individuals and organizations to self-host advanced LLM capabilities. As LLM deployments become prevalent, particularly in industry, ensuring their secure and reliable operation has become a critical issue. However, insecure defaults and misconfigurations often expose LLM services to the public internet, posing serious security and system engineering risks. This study conducted a large-scale empirical investigation of public-facing LLM deployments, focusing on the prevalence of services, exposure characteristics, systemic vulnerabilities, and associated risks. Through internet-wide measurements, we identified 320,102 public-facing LLM services across 15 frameworks and extracted 158 unique API endpoints, categorized into 12 functional groups based on functionality and security risk. Our analysis found that over 40% of endpoints used plain HTTP, and over 210,000 endpoints lacked valid TLS metadata. API exposure was highly inconsistent: some frameworks, such as Ollama, responded to over 35% of unauthenticated API requests, with about 15% leaking model or system information, while other frameworks implemented stricter controls. We observed widespread use of insecure protocols, poor TLS configurations, and unauthenticated access to critical operations. These security risks, such as model leakage, system compromise, and unauthorized access, are pervasive and highlight the need for a secure-by-default framework and stronger deployment practices.