Cheap, open agents make LLM pollution harder to mitigate

📄 arXiv: 2609.31054v1 📥 PDF

作者: Raluca Rilla, Anne-Marie Nussberger, Rui Mata, Dirk U. Wulff

分类: cs.AI

发布日期: 2026-09-25

💡 一句话要点

提出开放代理以应对大型语言模型污染问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 开放代理 数据污染 检测策略 市场调查

📋 核心要点

  1. 核心问题：现有的自主调查代理由于高昂的部署成本，限制了其对LLM污染的风险。
  2. 方法要点：通过比较开放和商业代理的性能，提出了开放代理作为LLM污染的新风险。
  3. 实验或效果：完全开放的代理在性能上与商业代理相当，且开放文本响应在检测中表现最佳。

📝 摘要（中文）

大型语言模型（LLM）污染是指合成响应污染了旨在捕捉人类行为的数据。高昂的部署成本限制了自主调查代理的风险。然而，开放权重模型与开源代理框架的结合可能消除了这一障碍。本文比较了九种代理配置的性能和可检测性，从完全开放的变体到封闭的商业代理。完全开放的代理在本地运行，无使用费用，并且在性能上与商业替代品竞争。开放和商业代理未能通过相同的检测检查，但开放文本响应在区分代理和人类方面表现最佳。这些发现将完全开放的代理识别为LLM污染的独特风险，并支持强调开放文本分析的多层检测策略。

🔬 方法详解

问题定义：本文旨在解决大型语言模型污染问题，尤其是合成响应对人类行为数据的污染。现有方法面临的主要挑战是高昂的部署成本限制了自主调查代理的使用。

核心思路：论文提出通过使用开放权重模型和开源代理框架，降低自主调查代理的使用成本，从而增加其可用性和风险评估。

技术框架：研究比较了九种不同的代理配置，包括完全开放和封闭的商业代理。每种代理在本地运行并完成包含多种响应类型的调查，进行多项检测检查。

关键创新：最重要的创新在于识别完全开放的代理作为LLM污染的独特风险，并强调开放文本分析在检测中的重要性。与现有方法相比，开放代理的使用降低了成本并提高了可检测性。

关键设计：实验中使用了多种检测检查，开放代理在性能上与商业代理相当，但在开放文本响应的检测中表现最佳。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，完全开放的代理在性能上与商业代理相当，且在开放文本响应的检测中表现最佳。不同代理在不同检测检查中的表现差异，表明没有单一的检测方法能够可靠地识别所有代理。

🎯 应用场景

该研究的潜在应用领域包括市场调查、社交媒体分析和人机交互等。通过识别开放代理的风险，研究为开发更有效的检测策略提供了基础，未来可能对数据质量和模型训练产生深远影响。

📄 摘要（原文）

Large Language Model (LLM) pollution occurs when synthetic responses contaminate data intended to capture human behavior. High deployment costs have so far limited the risk posed by autonomous survey agents. However, open-weight models paired with open-source agentic frameworks may have removed this barrier. We compared the performance and detectability of nine agent configurations, ranging from fully open variants to closed commercial ones. Each agent autonomously completed a survey containing multiple response types yielding various detection checks. Fully open agents ran locally without usage fees and performed competitively with commercial alternatives. Open and commercial agents failed different sets of checks, and no single check reliably detected all agents, but open-text responses discriminated best between agents and humans. These findings identify fully open agents as a distinct risk for LLM pollution and support multilayered detection strategies emphasizing open-text analysis.