Learning to Detect Cross-Modal Negation: An Analysis of Latent Representations and an Attention-Based Solution

📄 arXiv: 2607.17712v1 📥 PDF

作者: Ali AbuSaleh, Leon Hammerla, Alexander Mehler

分类: cs.AI

发布日期: 2026-07-20

备注: This manuscript is an accepted version of the article (published at ICNLP2026). Published in IEEE Xplore, DOI:10.1109/ICNLP69856.2026.11527861 document: https://ieeexplore.ieee.org/abstract/document/11527861

期刊: 2026 8th International Conference on Natural Language Processing (ICNLP), Xi'an, China, 2026, pp. 613-622

DOI: 10.1109/ICNLP69856.2026.11527861

💡 一句话要点

提出跨模态注意力架构以解决否定检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态学习 否定检测 注意力机制 视觉语言模型 自监督学习

📋 核心要点

  1. 现有多模态系统在检测跨模态的否定概念时面临显著挑战，尤其是在潜在表示学习方面。
  2. 本文提出了一种新颖的跨模态注意力架构，旨在显式建模模态间的依赖关系，以提高否定检测的准确性。
  3. 实验结果表明，所提方法在F1得分上较单模态基线提升了7.03%，验证了其有效性。

📝 摘要（中文）

检测跨模态的高层语义概念，如否定，仍然是当前多模态系统面临的挑战。本文分析了这一问题，首次证明在标准视觉-语言模型的潜在空间中，否定并不形成线性或非线性可分的类别。我们展示了预训练嵌入主要编码模态特定特征，缺乏可泛化的否定信号。为此，我们提出了一种新颖的跨模态注意力架构，明确建模模态间的依赖关系，相较于单模态基线，F1得分提升高达7.03%。我们的分析揭示了一个关键的不对称性：文本否定通常独立出现，而视觉否定在语义上依赖于语言上下文。通过与自监督视频表示（JEPA2）结合，我们推进了时间否定的建模，为多模态系统中学习稳健的语义对齐表示提供了新方法和见解。

🔬 方法详解

问题定义：本文要解决的问题是如何在多模态系统中有效检测否定概念，现有方法在潜在空间中无法有效区分否定类别，导致性能不足。

核心思路：论文的核心思路是通过跨模态注意力机制建模模态间的依赖关系，以捕捉更丰富的语义信息，特别是视觉和文本之间的交互。

技术框架：整体架构包括预训练的视觉和语言模型，跨模态注意力模块，以及自监督学习的时间表示。主要模块包括模态特征提取、注意力机制和分类器。

关键创新：最重要的技术创新在于提出了一种新的跨模态注意力架构，能够显式捕捉模态间的依赖性，解决了传统方法中模态特征独立处理的问题。

关键设计：在设计中，采用了特定的损失函数以增强模态间的协同学习，同时在网络结构上引入了自监督学习机制，以提高对时间序列数据的建模能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提跨模态注意力架构在F1得分上较单模态基线提升了7.03%，验证了其在否定检测任务中的有效性。此外，分析表明文本否定与视觉否定之间存在显著的语义依赖关系，进一步支持了模型设计的合理性。

🎯 应用场景

该研究的潜在应用领域包括多模态情感分析、视频理解和人机交互等。通过提高否定检测的准确性，能够增强系统在复杂场景下的理解能力，进而提升用户体验和系统的智能化水平。未来，该方法可能在社交媒体分析、自动字幕生成等领域发挥重要作用。

📄 摘要（原文）

Detecting high-level semantic concepts like negation across modalities remains a challenge for current multimodal systems. We analyze this as a fundamental representation learning problem, providing the first evidence that negation does not form a linearly or non-linearly separable class in the latent spaces of standard vision-language models (VLMs). We demonstrate that pretrained embeddings primarily encode modality-specific features, lacking a generalizable negation signal. To overcome this, we propose a novel cross-modal attention architecture that explicitly models inter-modal dependencies, achieving performance gains of up to +7.03% F1 over unimodal baselines. Our analysis reveals a key asymmetry: while textual negation often appears independently, visual negation is semantically dependent on linguistic context, a finding validated through our statistical analysis of 3,222 political video-text pairs automatically annotated via \textsc{Qwen2.5-VL}. By combining this analysis with self-supervised video representations (JEPA2), we advance the modeling of temporal negation. This work provides new methods and insights for learning robust, semantically-aligned representations in multimodal systems.