SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data

📄 arXiv: 2504.12185v1 📥 PDF

作者: Suyoung Bae, Hyojun Kim, YunSeok Choi, Jee-Hyong Lee

分类: cs.CL, cs.AI

发布日期: 2025-04-16

备注: Accepted to NAACL 2025 main. 15 pages, 4 figures

💡 一句话要点

SALAD：利用结构感知和LLM驱动的对比学习提升鲁棒性和泛化性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对比学习 数据增强 预训练语言模型 鲁棒性 泛化性 结构感知 反事实数据 大型语言模型

📋 核心要点

  1. 现有PLM微调方法易受虚假相关性影响，导致模型在分布外数据上表现不佳，泛化能力不足。
  2. SALAD方法通过结构感知和LLM驱动的数据增强，结合对比学习，使模型关注结构关系，减少对虚假相关性的依赖。
  3. 实验结果表明，SALAD在情感分类、性别歧视检测和自然语言推理任务上，显著提升了模型的鲁棒性和泛化能力。

📝 摘要（中文）

预训练语言模型（PLM）的微调在各种自然语言处理（NLP）任务中经常导致虚假相关性的问题，这会对性能产生负面影响，尤其是在处理分布外数据时。为了解决这个问题，我们提出了一种名为SALAD（结构感知和LLM驱动的增强数据）的新方法，旨在通过生成结构感知和反事实增强数据进行对比学习，从而增强模型的鲁棒性和泛化性。我们的方法利用基于标签的方法来生成结构感知的正样本，并利用大型语言模型（LLM）来生成具有多样化句子模式的反事实负样本。通过应用对比学习，SALAD使模型能够专注于学习关键句子成分之间的结构关系，同时最大限度地减少对虚假相关性的依赖。我们通过在情感分类、性别歧视检测和自然语言推理三个任务上的实验验证了我们的方法。结果表明，SALAD不仅提高了模型在不同环境中的鲁棒性和性能，还增强了对分布外数据集和跨领域场景的泛化能力。

🔬 方法详解

问题定义：论文旨在解决预训练语言模型（PLM）在微调过程中容易受到虚假相关性影响，导致模型在分布外（out-of-distribution）数据上泛化能力差的问题。现有的微调方法往往过度拟合训练数据中的表面特征，而忽略了深层的结构关系，因此在面对新的、未见过的数据时表现不佳。

核心思路：论文的核心思路是通过对比学习，迫使模型学习句子中关键成分之间的结构关系，从而减少对虚假相关性的依赖。具体来说，通过生成结构感知的正样本和反事实的负样本，让模型区分哪些是真正重要的结构信息，哪些是无关的噪声。这样设计的目的是让模型更加关注本质的语义关系，而不是表面的词汇共现。

技术框架：SALAD方法的整体框架包括以下几个主要模块：1) 结构感知正样本生成：使用基于标签的方法识别句子中的关键成分，并生成结构相似的正样本。2) LLM驱动的反事实负样本生成：利用大型语言模型（LLM）生成具有多样化句子模式的反事实负样本，这些负样本在语义上与原始句子不同，但保留了部分结构信息。3) 对比学习：使用生成的数据进行对比学习，目标是拉近正样本的表示，推远负样本的表示。

关键创新：该方法最重要的创新点在于结合了结构感知和LLM驱动的数据增强，并将其应用于对比学习。传统的对比学习方法往往依赖于随机的数据增强，而SALAD方法则更加有针对性地生成正负样本，从而更好地引导模型学习结构信息。此外，利用LLM生成反事实负样本，可以增加负样本的多样性，提高模型的鲁棒性。

关键设计：在结构感知正样本生成方面，论文采用了一种基于标签的方法，具体细节未知。在LLM驱动的反事实负样本生成方面，论文使用了特定的prompt工程来引导LLM生成高质量的负样本，具体prompt设计未知。对比学习损失函数使用了标准的InfoNCE损失函数，用于拉近正样本对，推远负样本对。具体的超参数设置，如温度系数等，论文中可能有所描述，但此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SALAD方法在情感分类、性别歧视检测和自然语言推理三个任务上均取得了显著的性能提升。具体来说，SALAD在分布外数据集和跨领域场景下的表现尤为突出，证明了其在提高模型鲁棒性和泛化能力方面的有效性。具体的性能数据和提升幅度在论文中有所描述，此处未知。

🎯 应用场景

SALAD方法可应用于各种自然语言处理任务，尤其是在需要模型具备较强鲁棒性和泛化能力的场景中，例如情感分析、文本分类、自然语言推理等。该方法可以提高模型在对抗性攻击、领域迁移和分布外数据上的表现，具有重要的实际应用价值和潜力。未来，该方法可以进一步扩展到其他模态的数据，例如图像和语音。

📄 摘要（原文）

In various natural language processing (NLP) tasks, fine-tuning Pre-trained Language Models (PLMs) often leads to the issue of spurious correlations, which negatively impacts performance, particularly when dealing with out-of-distribution data. To address this problem, we propose SALAD}(Structure Aware and LLM-driven Augmented Data), a novel approach designed to enhance model robustness and generalization by generating structure-aware and counterfactually augmented data for contrastive learning. Our method leverages a tagging-based approach to generate structure-aware positive samples and utilizes large language models (LLMs) to generate counterfactual negative samples with diverse sentence patterns. By applying contrastive learning, SALAD enables the model to focus on learning the structural relationships between key sentence components while minimizing reliance on spurious correlations. We validate our approach through experiments on three tasks: Sentiment Classification, Sexism Detection, and Natural Language Inference. The results demonstrate that SALAD not only improves model robustness and performance across different environments but also enhances generalization to out-of-distribution datasets and cross-domain scenarios.