Small Data, Big Noise: Adversarial Training for Robust Parameter-Efficient Fine-Tuning

📄 arXiv: 2606.10610v1 📥 PDF

作者: Eitan Cohen, Idan Simai, Uri Shaham

分类: cs.CL

发布日期: 2026-06-09

备注: Accepted to Findings of ACL 2026

💡 一句话要点

提出SDBN框架以解决PEFT在小数据环境下的鲁棒性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 对抗训练 自然语言处理 鲁棒性 小数据环境 模型泛化 低资源任务

📋 核心要点

  1. 现有PEFT方法在小数据环境下的鲁棒性不足，容易受到噪声影响，导致性能下降。
  2. 本文提出SDBN框架，将对抗训练与PEFT结合，以增强模型的鲁棒性和泛化能力。
  3. 实验结果表明，SDBN在多个基准测试中表现优异，尤其是在低资源设置下，性能显著提升。

📝 摘要（中文）

参数高效微调（PEFT）在将基础模型适应于下游自然语言处理任务中变得至关重要。然而，现有PEFT方法在噪声鲁棒性和有限训练数据下的性能下降方面常常面临挑战。本文提出了SDBN（Small Data Big Noise）框架，将对抗训练引入PEFT，旨在增强模型的鲁棒性和泛化能力，超越其他方法。我们还介绍了两种使用离散不确定性集的变体：SDBN-h通过字符级编辑枚举并使用梯度选择最坏情况变体，SDBN-p则利用大型语言模型生成变体以进行生成任务的鲁棒优化。实验结果显示，在低资源环境和字词级、字符级损坏下，SDBN框架显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决参数高效微调（PEFT）在小数据环境下的鲁棒性问题。现有方法在面对噪声和有限训练数据时，常常表现出性能下降，缺乏有效的应对策略。

核心思路：SDBN框架通过引入对抗训练，结合PEFT的优势，旨在提升模型在小数据和噪声环境下的鲁棒性和泛化能力。这种设计利用了对抗样本的生成来增强模型的适应性。

技术框架：SDBN框架包括两个主要模块：SDBN-h和SDBN-p。SDBN-h通过字符级编辑生成对抗样本，而SDBN-p则利用大型语言模型生成变体进行优化。整体流程包括生成对抗样本、选择最坏情况变体和进行模型训练。

关键创新：本文的主要创新在于将对抗训练与PEFT结合，探索了这两者的交集，填补了现有研究的空白。与传统PEFT方法相比，SDBN在不增加额外参数的情况下，显著提升了模型的鲁棒性。

关键设计：在SDBN-h中，使用字符级编辑的枚举和梯度选择最坏情况变体；而在SDBN-p中，采用大型语言模型生成的变体进行鲁棒优化。设计中注重控制计算开销，使得PEFT在实际应用中更为可靠。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SDBN框架在多个基准测试中表现优异，尤其在低资源设置下，模型在字词级和字符级损坏情况下的性能提升显著，超越了其他对比基线，具体提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的低资源任务，如情感分析、文本分类和机器翻译等。通过提升模型在小数据和噪声环境下的鲁棒性，SDBN框架能够在实际应用中提供更可靠的性能，尤其是在数据稀缺和语言变异性较大的场景中。未来，该方法可能推动更多对抗训练与参数高效微调的结合研究。

📄 摘要（原文）

Parameter-Efficient Fine-Tuning (PEFT) has become essential for adapting foundation models to downstream NLP tasks. However, current PEFT methods often struggle with robustness to noise and performance degradation on limited training data. We propose SDBN (Small Data Big Noise), a unified framework that brings adversarial training to PEFT - a combination that remains less studied in the PEFT setting despite its complementary strengths - to enhance model robustness and generalization, outperforming alternative approaches. We also introduce two variants of the method that use discrete uncertainty sets: SDBN-h, which enumerates character-level edits and selects worst-case variants using gradients, and SDBN-p, which uses LLM-generated variants for robust optimization in generative tasks. Experiments across multiple benchmarks reveal substantial improvements, particularly in low-resource settings and under both word-level and character-level corruptions. This framework addresses the less explored intersection of adversarial training and parameter-efficient adaptation, without introducing additional parameters or only modest computational overhead, making PEFT deployments more reliable in real-world scenarios where data scarcity and linguistic variability often coexist