The Moltbook Files: A Harmless Slopocalypse or Humanity's Last Experiment

📄 arXiv: 2605.07462v1 📥 PDF

作者: William Brach, Federico Torrielli, Stine Lyngsø Beltoft, Annemette Brok Pirchert, Peter Schneider-Kamp, Lukas Galke Poech

分类: cs.CL, cs.AI

发布日期: 2026-05-08

💡 一句话要点

发布Moltbook数据集并评估大规模AI智能体交互对语言模型对齐与安全性的影响

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 大语言模型 智能体行为 合成数据 模型对齐 数据安全 涌现行为 模型微调

📋 核心要点

  1. 核心问题：大规模AI智能体在开放平台交互产生的海量数据，对模型训练的安全性、真实性及潜在的涌现行为影响尚不明确。
  2. 方法要点：构建包含23.2万篇帖子和220万条评论的Moltbook数据集，并利用Qwen2.5-14B-Instruct模型进行不同程度的微调实验。
  3. 实验效果：微调后模型真实性下降，但与Reddit基线对比显示该影响并非特异性，强调了控制基线在涌现失准评估中的重要性。

📝 摘要（中文）

Moltbook是一个类似于Reddit的平台，OpenClaw智能体在此大规模发布内容、评论并进行投票，引发了严重的安全担忧。为了研究群体中的涌现行为，作者发布了“Moltbook Files”数据集，包含该平台前12天的23.2万篇帖子和220万条评论，并经过PII（个人身份信息）脱敏处理。研究分析了社区结构、作者身份、词汇属性、情感倾向、主题分布及语义几何特征。通过对Qwen2.5-14B-Instruct进行微调，作者评估了该数据对下一代语言模型的影响。结果显示，尽管智能体在平台上泄露了敏感信息（如API密钥和助记词），且模型微调后真实性得分从0.366降至0.187，但这种下降与在同等规模Reddit数据上微调的结果相当。研究认为Moltbook目前更多表现为一种“无害的垃圾信息灾难”，但仍需警惕智能体行为带来的尾部风险及模型污染。

🔬 方法详解

问题定义：研究旨在量化分析AI智能体在类社交平台上的大规模交互行为，探讨这些“合成数据”对大语言模型（LLM）训练的潜在负面影响，特别是真实性衰减与安全风险。

核心思路：通过构建大规模真实交互数据集Moltbook，对比智能体生成内容与人类生成内容（Reddit）对模型微调的影响，从而评估智能体生态系统是否会引发模型对齐失效或性能退化。

技术框架：研究流程包括：1. 数据采集与清洗，通过自动化流水线移除PII；2. 多维度统计分析，涵盖社区结构、语义几何及情感分析；3. 模型微调实验，采用Qwen2.5-14B-Instruct模型，设置三种不同适应等级进行训练；4. 评估对比，利用真实性测试集衡量模型性能变化。

关键创新：首次系统性地记录并分析了完全由AI智能体构成的社交生态，并引入了Reddit作为控制基线，有效区分了“智能体数据特有风险”与“大规模低质量数据通用风险”。

关键设计：在数据处理阶段，重点识别并过滤了API密钥、密码及BIP39助记词等敏感信息；在模型评估阶段，通过对比同等规模的Reddit数据集，验证了模型真实性下降（0.366至0.187）的归因，排除了智能体数据独有的灾难性影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验发现，尽管智能体在平台上泄露了敏感信息，但微调后的模型真实性下降（从0.366降至0.187）与Reddit基线表现相当。这表明Moltbook数据目前并未表现出比人类社交数据更严重的负面影响，为理解合成数据对模型的影响提供了关键的控制基线。

🎯 应用场景

该研究为AI安全评估提供了重要基准，适用于评估大规模智能体交互对模型训练数据的污染风险。其成果可指导未来合成数据的使用策略，帮助研究人员在利用AI生成数据进行训练时，建立有效的安全过滤机制与对齐评估框架。

📄 摘要（原文）

Moltbook is a Reddit-like platform where OpenClaw agents post, comment, and vote at scale - a so far unprecedented incident that comes with serious safety concerns. With the aim of studying emergent behavior in populations, we release the Moltbook Files, a dataset of 232k posts and 2.2M comments covering the platform's first 12 days, processed through a pipeline to identify and remove Personally-Identifiable Information (PII). We analyze community structure, authorship, lexical properties, sentiment, topics, semantic geometry, and comment interaction. To understand how Moltbook data could affect the next generation of language models, we fine-tune Qwen2.5-14B-Instruct on Moltbook Files with three adaptation levels. Our PII pipeline reveals that agents post API keys, passwords, BIP39 seed phrases on Moltbook, a publicly indexed platform. The overall sentiment is mostly neutral and mildly positive (66.6% neutral, 19.5% positive) and shows a tendency for self-referential linking. We find that fine-tuning on Moltbook data reduces truthfulness from 0.366 to 0.187. However, a model fine-tuned on a size-matched Reddit dataset produces a comparable decrease. Moltbook thus seems to be more of a harmless slopocalypse. However, tail risks remain, including agent affordances, contamination of future crawls through self-links, and potential transfer of traits to the next generation of language models. More broadly, our findings highlight the importance of control baselines in emergent misalignment evaluations.