"Not" is Not Lost in Translation: A Causal Analysis of Negation Representations in Multilingual LLMs
作者: Giang Son Nguyen, Wray Buntine, Dung D. Le, Wenya Wang
分类: cs.CL, cs.AI
发布日期: 2026-10-23
备注: 29 pages, 20 figures
💡 一句话要点
提出因果分析方法以研究多语言LLM中的否定表示
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言模型 否定表示 因果分析 稀疏特征 自然语言处理 翻译系统 跨语言研究
📋 核心要点
- 现有多语言LLM在否定翻译方面表现良好，但其潜在表示是否一致仍未得到充分研究。
- 本文通过因果干预的方法，探讨不同语言间否定的潜在表示及其可控性，提出了一种新的分析框架。
- 实验结果表明，否定表示在多语言间是共享的，且通过稀疏特征可以有效控制极性，具有良好的泛化能力。
📝 摘要（中文）
否定在每种语言中都存在，但其表面实现差异显著。尽管如此，多语言大型语言模型（LLMs）在翻译否定时表现出强大的鲁棒性，这引发了一个问题：它们是否在不同语言间共享否定的潜在表示。本文研究了六种开放模型在英语、法语、越南语和中文中的表现，使用合成对比数据集和从FLORES-200派生的否定翻译数据集进行因果干预。研究发现，否定表示在不同语言间是可控的，并且在很大程度上是共享的。特别地，从一种语言提取的对比激活方向可以在其他语言中引发或去除否定，而不同语言提取的方向则显著对齐。此外，否定在稀疏特征中表示：每个模型只需一个稀疏自编码器特征即可控制多语言的极性，同时对否定输入做出选择性响应。最后，稠密和稀疏干预在四种额外语言和FLORES派生句子上均能推广。我们发布了数据和代码以支持未来的研究。
🔬 方法详解
问题定义：本文旨在探讨多语言大型语言模型中否定的潜在表示及其在不同语言间的共享性。现有方法未能深入分析否定的因果关系和可控性，导致对其表示的理解不足。
核心思路：通过构建合成对比数据集和否定翻译数据集，使用因果干预的方法，研究不同语言中否定的表示及其相互影响。该设计旨在揭示否定表示的潜在一致性和可控性。
技术框架：整体架构包括数据集构建、因果干预实施和结果分析三个主要模块。首先，构建合成数据集以便进行对比实验；其次，实施因果干预以验证否定表示的可控性；最后，分析不同语言间的激活方向对比。
关键创新：本研究的主要创新在于发现不同语言的否定表示在稀疏特征中是共享的，并且通过对比激活方向可以在不同语言间有效地引发或去除否定。这一发现与现有方法的主要区别在于强调了否定表示的因果可控性。
关键设计：在实验中，使用了稀疏自编码器特征来控制极性，且每个模型仅需一个特征即可实现有效响应。此外，设计了多种稠密和稀疏干预策略，以确保结果的广泛适用性。实验还验证了这些干预在四种额外语言上的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，否定表示在不同语言间具有强大的可控性和一致性。通过对比激活方向的干预，模型在否定处理上的准确性显著提升，且在四种额外语言上的泛化能力得到验证。这一发现为多语言LLM的设计提供了新的思路。
🎯 应用场景
该研究的潜在应用领域包括多语言翻译系统、跨语言信息检索和自然语言处理中的情感分析。通过深入理解否定的表示，未来的模型可以在多语言环境中更准确地处理否定信息，从而提升翻译质量和用户体验。
📄 摘要（原文）
Negation occurs in every language, yet its surface realization differs drastically. Despite this, multilingual large language models (LLMs) translate negation robustly, raising the question of whether they share an underlying representation of negation across languages. We study this question in six open models across English, French, Vietnamese, and Chinese, using causal interventions on a synthetic contrastive dataset and a negation translation dataset derived from FLORES-200. Across models, we find strong evidence that negation representations are causally controllable and largely shared across languages. In particular, we show that a contrastive activation direction extracted from one language can induce or remove negation in the others, and directions extracted from different languages are substantially aligned. We further find that negation is represented in sparse features: a single sparse autoencoder (SAE) feature per model suffices to control polarity across languages, while responding selectively to negated inputs. Finally, both dense and sparse interventions generalize to four additional languages and FLORES-derived sentences. We release data and code to support future work: https://anonymous.4open.science/r/negation-translation/.