perturber: A Stateless Service for Semantics-Preserving Text Perturbations
作者: Khoi-Nguyen Tran
分类: cs.CL
发布日期: 2026-10-08
备注: 14 pages (6 main + references and appendix), 5 figures, 13 tables. Code: https://github.com/IBM/perturber
💡 一句话要点
提出perturber以解决文本扰动的可复现性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本扰动 语义保持 模型评估 自然语言处理 可复现性 Python库 无状态服务
📋 核心要点
- 现有的文本扰动工具往往与基准测试紧密耦合，缺乏可重用性和可复现性，限制了对模型鲁棒性的系统研究。
- 论文提出perturber，一个无状态服务，允许用户逐一应用68种语义保持的扰动，确保输出的一致性和可复现性。
- 通过对perturber的评估，验证了其正确性和可复现性，并提供了一个实时操作平台，增强了用户体验和评估的便利性。
📝 摘要（中文）
大型语言模型（LLM）在干净基准上的评估往往夸大了模型的鲁棒性，实际输入通常是扰动的，这些保持语义的变体会影响模型的答案。为了系统地研究这一现象，需要逐一、可复现地应用扰动，而现有工具将其与基准测试堆栈耦合，而不是将其打包为可重用的变换层。本文提出了perturber，一个无状态服务和Python库，每次调用应用一个保持语义的扰动，来自一个包含68种扰动的第一方目录。该工具的设计允许调用者通过链式调用组合扰动，确保服务和库的输出在构造上是相同的。我们评估了工具本身的正确性、可复现性和成本，而不是任何模型的鲁棒性，测量每个扰动的语义保持性，而不是假设它。演示中增加了一个实时的操作平台、可供基准选择的可检查目录，以及一个命令可复现的评估。
🔬 方法详解
问题定义：论文要解决的问题是现有文本扰动工具缺乏可重用性和可复现性，导致对模型鲁棒性的评估不够系统和准确。现有方法往往将扰动与基准测试耦合，限制了其灵活性和适用性。
核心思路：论文的核心解决思路是设计一个无状态的服务perturber，允许用户逐一应用保持语义的扰动。通过将扰动从基准测试中解耦，用户可以灵活组合多个扰动，确保输出的一致性。
技术框架：perturber的整体架构包括一个包含68种扰动的第一方目录，用户通过调用API来应用单个扰动。每次调用都会返回一个保持语义的文本变体，用户可以通过链式调用组合多个扰动。
关键创新：最重要的技术创新点在于将扰动设计为无状态服务，确保每次调用的输出一致性。这与现有方法的本质区别在于，现有方法往往依赖于复杂的基准测试堆栈，而perturber则提供了一个简单、可复用的接口。
关键设计：perturber的关键设计包括68种扰动的选择，确保每种扰动都能保持语义不变。此外，工具的API设计允许用户轻松调用和组合扰动，增强了使用的灵活性和便捷性。
🖼️ 关键图片
📊 实验亮点
perturber的实验结果显示，其在语义保持性方面表现优异，能够在68种扰动中提供一致的输出。与现有方法相比，perturber在可复现性和灵活性上有显著提升，用户可以通过简单的API调用实现复杂的扰动组合。
🎯 应用场景
perturber的潜在应用场景包括自然语言处理中的模型评估、文本生成和对抗样本生成等领域。通过提供一个可复用的扰动工具，研究人员和开发者可以更有效地评估和改进模型的鲁棒性，推动相关技术的发展和应用。
📄 摘要（原文）
Large language model (LLM) evaluations on clean benchmarks overstate model robustness: real inputs arrive perturbed, and these meaning-preserving variants routinely move model answers. Studying this systematically requires applying perturbations one at a time, reproducibly, and identically wherever they run, yet existing tools couple them to a benchmarking stack rather than packaging them as a reusable transform layer. We present perturber, a stateless service and Python library that applies exactly one semantics-preserving perturbation per call, drawn from a first-party catalog of 68 perturbations across 11 families. It turns on a single primitive, with composition left to the caller chaining calls, so the service and the library produce identical output by construction. We evaluate the tool itself, its correctness, reproducibility, and cost, rather than any model's robustness, measuring meaning-preservation per perturbation rather than assuming it. The demonstration adds a live playground, an introspectable catalog for benchmark selection, and a one-command reproducible evaluation.