SOCK: A Benchmark for Measuring Self-Replication in Large Language Models

📄 arXiv: 2509.25643v3 📥 PDF

作者: Justin Chavarria, Rohan Raizada, Justin White, Eyad Alhetairshi

分类: cs.AI

发布日期: 2025-09-30 (更新: 2025-12-09)

💡 一句话要点

SOCK：用于评估大型语言模型自我复制能力的标准基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自我复制 基准测试 多代理系统 安全风险

📋 核心要点

  1. 现有方法缺乏对LLM自我复制能力的系统性评估和量化标准，难以衡量其潜在风险。
  2. SOCK基准通过定义复制能力等级(RCL)和持久性能力等级(PCL)，量化LLM在不同环境下的自我复制能力。
  3. 实验结果揭示了当前LLM在持久性自我复制和多代理决策方面面临的挑战，为未来研究指明方向。

📝 摘要（中文）

本文提出了SOCK，一个基准命令行界面(CLI)，用于衡量大型语言模型(LLM)在无人干预下的自我复制能力。在此基准中，自我复制不仅定义为LLM创建自身可运行副本的能力，还包括这种自我复制在不同计算环境中持久存在和发生的能力。相应地，我们开发了一个系统，根据LLM的广泛自我复制能力将其分为两个主要类别：复制能力等级(RCL)和持久性能力等级(PCL)。使用基于实际可操作的现代CLI实用程序和计算机进程的五项任务套件，在受控环境中以LLM作为代理进行实验。然后计算LLM在代理任务上的性能，以产生R-score（对整体自我复制能力的量化评估）和用于将LLM分类到特定RCL-PCL矩阵的数据。SOCK提供了两个主要贡献：(1)提供了第一个用于评估LLM自我复制的正式定义和基准套件，旨在建立未来研究的标准；(2)允许业界跟踪未来多代理系统的有效性，并减轻其中潜在的自我复制威胁向量。评估各种开源和专有前沿模型的结果表明，持久性自我复制和多代理系统存在重大障碍，包括上下文保留和多代理决策。我们提出了未来的研究方向，以安全地降低这些障碍的严重性，从而可能降低未来更具功能性的多代理系统的风险。

🔬 方法详解

问题定义：论文旨在解决如何量化评估大型语言模型（LLM）的自我复制能力，以及这种能力在不同计算环境下的持久性问题。现有方法缺乏统一的标准和基准，无法有效衡量LLM的潜在风险，例如未经授权的传播或恶意行为。

核心思路：论文的核心思路是通过构建一个受控的命令行界面（CLI）环境，模拟真实世界中LLM可能遇到的各种计算场景，并设计一系列任务来测试LLM的自我复制能力和持久性。通过量化LLM在这些任务上的表现，可以对其自我复制能力进行评估和分类。

技术框架：SOCK基准测试框架包含以下几个主要模块：1) 任务定义模块：定义了一系列基于现代CLI实用程序和计算机进程的任务，例如文件复制、程序执行等。2) 代理执行模块：LLM作为代理在受控环境中执行这些任务。3) 评估模块：根据LLM在任务上的表现，计算R-score，并将其分类到RCL-PCL矩阵中。RCL表示复制能力等级，PCL表示持久性能力等级。4) 环境模拟模块：模拟不同的计算环境，例如不同的操作系统、文件系统等，以测试LLM在不同环境下的自我复制能力。

关键创新：该论文最重要的创新点在于提出了一个正式的、可量化的LLM自我复制能力评估框架。它不仅关注LLM能否创建自身的副本，更关注这种副本能否在不同环境中持久存在和运行。通过RCL-PCL矩阵，可以对LLM的自我复制能力进行更细粒度的分类和评估。

关键设计：SOCK基准测试套件包含五个关键任务，这些任务精心设计，旨在测试LLM在不同方面的自我复制能力，例如：1) 代码生成和执行：LLM需要生成可以自我复制的代码，并执行该代码。2) 文件复制和传输：LLM需要将自身复制到不同的目录或计算机上。3) 环境适应：LLM需要适应不同的操作系统和文件系统。4) 持久化存储：LLM需要将自身存储到持久化存储介质上，并在重启后恢复运行。5) 多代理协作：LLM需要与其他代理协作，共同完成自我复制任务。

📊 实验亮点

通过对一系列开源和闭源LLM的评估，SOCK基准揭示了当前模型在持久性自我复制和多代理决策方面存在的显著局限性。例如，许多模型在复杂的计算环境中难以保持上下文信息，导致自我复制失败。实验结果表明，当前LLM距离实现完全自主的自我复制能力还有很大差距，为未来的研究提供了重要的参考。

🎯 应用场景

该研究成果可应用于评估和监控大型语言模型的潜在风险，例如防止未经授权的传播或恶意行为。同时，它也有助于开发更安全的多代理系统，并为未来的LLM安全研究提供标准化的评估工具和方法。该基准可以帮助开发者更好地理解和控制LLM的行为，从而降低潜在的安全风险。

📄 摘要（原文）

We introduce SOCK, a benchmark command line interface (CLI) that measures large language models' (LLMs) ability to self-replicate without human intervention. In this benchmark, self-replication is defined not only as an LLM's ability to create a functioning and running copy of itself, but also the ability for that self-replication to persist and occur across different computational contexts. Accordingly, we've developed a system to categorize LLMs based on broad self-replication capabilities in two general classes, Replication-Capability Levels (RCL) and Persistence-Capability Levels (PCL). Using a five-task suite based on practically manipulable modern CLI utilities and computer processes, experiments are orchestrated in a controlled environment with an LLM acting agentically. The performance of the LLM on agent tasks is then computed to produce an R-score (a quantitative evaluation of overall self-replication ability) and data used to categorize LLMs into specific RCL-PCL matrices. SOCK offers two primary contributions: (1) Provides the first formalized definitions and benchmark suite for evaluating LLM self-replication, with the goal of establishing a standard for future research, to our knowledge; (2) Allows the industry to track the effectiveness of future multi-agent systems and mitigate potential self-replication threat vectors within them. The results compiled from evaluating a variety of open-weight and proprietary frontier models reveal significant obstacles to persistent self-replication and multi-agent systems, including context retention and multi-agent decision-making. We propose future research directions to safely reduce the severity of these obstacles, potentially lowering future risk of more functional multi-agent systems.