Robust Native Language Identification through Agentic Decomposition

📄 arXiv: 2509.16666v1 📥 PDF

作者: Ahmet Yavuz Uluslu, Tannon Kew, Tilia Ellendorff, Gerold Schneider, Rico Sennrich

分类: cs.CL

发布日期: 2025-09-20

备注: Accepted at EMNLP* 2025

💡 一句话要点

提出基于Agent分解的NLI方法，提升模型在对抗性线索下的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 母语识别 自然语言处理 Agent分解 鲁棒性 对抗性线索

📋 核心要点

  1. 现有NLI模型易受表面线索误导，无法真正识别母语语言特征。
  2. 提出Agent分解方法，模拟语言学专家分析，提升证据收集和推理能力。
  3. 实验表明，该方法显著提升了NLI模型在对抗性线索下的鲁棒性和一致性。

📝 摘要（中文）

大型语言模型(LLMs)在母语识别(NLI)基准测试中通常表现出色，但它们倾向于利用肤浅的上下文线索，如姓名、地点和文化刻板印象，而非指示母语(L1)影响的潜在语言模式。为了提高鲁棒性，之前的工作指示LLMs忽略这些线索。然而，本文表明这种策略并不可靠，模型预测很容易被误导性提示改变。为了解决这个问题，本文提出了一种受法庭语言学启发的agentic NLI流程，其中专门的agent积累并分类各种语言证据，然后由一个独立的最终评估agent进行总体评估。在最终评估中，一个目标感知的协调agent综合所有证据以进行NLI预测。在两个基准数据集上，与标准提示方法相比，本文的方法显著提高了NLI在对抗误导性上下文线索方面的鲁棒性和性能一致性。

🔬 方法详解

问题定义：现有母语识别（NLI）模型在识别文本作者的母语时，容易受到文本中表面上下文线索（如人名、地名、文化刻板印象）的干扰，而忽略了真正反映母语影响的深层语言特征。这种依赖导致模型在面对误导性线索时表现不佳，鲁棒性不足。现有方法尝试直接指示模型忽略这些线索，但效果有限，模型预测容易被操纵。

核心思路：本文的核心思路是借鉴法庭语言学的专家分析流程，将NLI任务分解为多个专门的agent，每个agent负责收集和分析特定类型的语言证据。通过这种分解，模型可以更全面地考虑各种语言特征，并减少对单一表面线索的依赖。最终，一个协调agent综合所有证据进行最终判断，从而提高模型的鲁棒性和准确性。

技术框架：该方法构建了一个agentic NLI pipeline，包含以下主要模块：1) 多个证据收集agent：每个agent负责提取和分析特定类型的语言证据，例如词汇选择、句法结构、语篇特征等。2) 证据分类agent：对收集到的证据进行分类和整理，以便后续的综合分析。3) 协调agent：这是一个目标感知的agent，负责综合所有证据，并做出最终的NLI预测。协调agent会考虑每个证据的可靠性和重要性，并根据预定义的规则进行推理。

关键创新：该方法最重要的创新点在于将NLI任务分解为多个agent协同完成，模拟了专家分析的过程。这种分解不仅提高了模型的鲁棒性，还使其能够更好地利用各种语言特征。与现有方法相比，该方法不再依赖于单一的提示或约束，而是通过多agent协作来实现更可靠的NLI。

关键设计：每个agent可以使用不同的模型架构和训练方法，以适应其特定的任务。例如，证据收集agent可以使用预训练语言模型进行特征提取，而协调agent可以使用规则引擎或机器学习模型进行推理。关键的设计在于如何定义agent之间的协作方式，以及如何设计协调agent的推理规则。论文中可能涉及损失函数的设计，用于训练各个agent，以及协调agent的决策策略。

📊 实验亮点

该方法在两个基准数据集上进行了评估，实验结果表明，与标准提示方法相比，该方法显著提高了NLI在对抗误导性上下文线索方面的鲁棒性和性能一致性。具体的性能数据和提升幅度在论文中进行了详细的展示，证明了该方法的有效性。

🎯 应用场景

该研究成果可应用于安全领域的作者身份识别、教育领域的语言学习辅助、以及社会科学领域的多语言文本分析。通过提高NLI的鲁棒性，可以更准确地识别恶意信息的来源，为语言学习者提供个性化的反馈，并促进跨文化交流的理解。

📄 摘要（原文）

Large language models (LLMs) often achieve high performance in native language identification (NLI) benchmarks by leveraging superficial contextual clues such as names, locations, and cultural stereotypes, rather than the underlying linguistic patterns indicative of native language (L1) influence. To improve robustness, previous work has instructed LLMs to disregard such clues. In this work, we demonstrate that such a strategy is unreliable and model predictions can be easily altered by misleading hints. To address this problem, we introduce an agentic NLI pipeline inspired by forensic linguistics, where specialized agents accumulate and categorize diverse linguistic evidence before an independent final overall assessment. In this final assessment, a goal-aware coordinating agent synthesizes all evidence to make the NLI prediction. On two benchmark datasets, our approach significantly enhances NLI robustness against misleading contextual clues and performance consistency compared to standard prompting methods.