Remember Past, Anticipate Future: Learning Continual Multimodal Misinformation Detectors

📄 arXiv: 2507.05939v1 📥 PDF

作者: Bing Wang, Ximing Li, Mengzhe Ye, Changchun Li, Bo Fu, Jianfeng Qu, Lin Yuanbo Wu

分类: cs.CL, cs.MM

发布日期: 2025-07-08

备注: Accepted by ACM MM 2025. 10 pages, 6 figures. Code: https://github.com/wangbing1416/DAEDCMD

💡 一句话要点

提出DAEDCMD，解决持续多模态虚假信息检测中的知识遗忘与环境演变问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态虚假信息检测 持续学习 知识遗忘 环境演变 Dirichlet过程 混合专家模型

📋 核心要点

  1. 现有离线训练的多模态虚假信息检测模型难以适应持续涌现的新事件和不断变化的社会环境。
  2. 论文提出DAEDCMD模型，通过记忆过去知识和预测未来环境分布来解决持续学习中的知识遗忘和泛化问题。
  3. 实验结果表明，DAEDCMD在持续多模态虚假信息检测任务上显著优于现有的MMD和持续学习方法。

📝 摘要（中文）

如今，虚假信息文章，特别是多模态文章，在社交媒体平台上广泛传播，造成严重的负面影响。为了控制它们的传播，多模态虚假信息检测（MMD）成为社区中一个活跃的话题，旨在自动识别虚假信息。以往的MMD方法侧重于通过收集离线数据来监督检测器。然而，在现实场景中，新的事件总是不断涌现，使得在离线数据上训练的MMD模型持续过时且无效。为了解决这个问题，在在线数据流下训练MMD模型是一种替代方案，从而产生了一项名为持续MMD的新兴任务。不幸的是，它受到两个主要挑战的阻碍。首先，在新数据上训练会持续降低过去数据的检测性能，称为过去知识遗忘。其次，社会环境随着时间的推移不断演变，影响了未来数据的泛化。为了缓解这些挑战，我们提出通过基于Dirichlet过程的混合专家结构来隔离事件特定参数之间的干扰，从而记住过去的知识，并通过学习连续时间动力学模型来预测未来的环境分布。因此，我们提出了一种新的持续MMD方法DAEDCMD。大量的实验表明，DAEDCMD能够持续且显著地优于对比方法，包括六个MMD基线和三个持续学习方法。

🔬 方法详解

问题定义：论文旨在解决持续多模态虚假信息检测（Continual Multimodal Misinformation Detection, CMMD）问题。现有方法主要基于离线数据训练，无法有效应对真实世界中不断涌现的新事件和持续演变的社会环境，导致模型性能随时间推移而显著下降，出现知识遗忘和泛化能力不足的问题。

核心思路：论文的核心思路是同时解决知识遗忘和未来环境预测两个挑战。针对知识遗忘，采用基于Dirichlet过程的混合专家结构，将模型参数划分为事件特定参数和共享参数，从而隔离不同事件之间的干扰。针对未来环境预测，学习一个连续时间动力学模型，用于预测未来时刻的环境分布，提高模型的泛化能力。

技术框架：DAEDCMD模型的整体框架包含两个主要模块：记忆模块和预测模块。记忆模块基于Dirichlet过程混合专家（Dirichlet Process Mixture of Experts, DPMoE）结构，用于学习事件特定的知识并防止知识遗忘。预测模块则是一个连续时间动力学模型，用于预测未来时刻的环境分布。模型首先利用多模态特征提取器提取文本和图像特征，然后将特征输入到DPMoE模块中学习事件特定知识。同时，连续时间动力学模型根据历史数据学习环境演变规律，并预测未来环境分布。最后，模型结合记忆模块和预测模块的输出进行虚假信息检测。

关键创新：论文的关键创新在于同时考虑了知识遗忘和未来环境预测两个方面，并提出了相应的解决方案。DPMoE结构能够有效隔离不同事件之间的干扰，防止知识遗忘。连续时间动力学模型能够预测未来环境分布，提高模型的泛化能力。将两者结合，使得DAEDCMD模型能够在持续学习场景下保持较高的检测性能。

关键设计：DPMoE模块的关键设计在于Dirichlet过程的选择，它能够自动确定专家数量，并根据数据分布动态调整专家权重。连续时间动力学模型采用神经网络实现，通过最小化预测误差来学习环境演变规律。损失函数包括分类损失、知识蒸馏损失和正则化损失，用于优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DAEDCMD在持续多模态虚假信息检测任务上显著优于现有的MMD和持续学习方法。具体而言，DAEDCMD在多个数据集上取得了最高的平均准确率，并且在知识遗忘和泛化能力方面均表现出明显的优势。例如，在某个数据集上，DAEDCMD相比最佳基线方法提升了超过5%的平均准确率。

🎯 应用场景

该研究成果可应用于社交媒体平台、新闻聚合网站等场景，用于自动检测和过滤虚假信息，减少虚假信息传播带来的负面影响。此外，该方法也可推广到其他需要持续学习的多模态任务中，例如持续视频内容理解、持续机器人学习等。

📄 摘要（原文）

Nowadays, misinformation articles, especially multimodal ones, are widely spread on social media platforms and cause serious negative effects. To control their propagation, Multimodal Misinformation Detection (MMD) becomes an active topic in the community to automatically identify misinformation. Previous MMD methods focus on supervising detectors by collecting offline data. However, in real-world scenarios, new events always continually emerge, making MMD models trained on offline data consistently outdated and ineffective. To address this issue, training MMD models under online data streams is an alternative, inducing an emerging task named continual MMD. Unfortunately, it is hindered by two major challenges. First, training on new data consistently decreases the detection performance on past data, named past knowledge forgetting. Second, the social environment constantly evolves over time, affecting the generalization on future data. To alleviate these challenges, we propose to remember past knowledge by isolating interference between event-specific parameters with a Dirichlet process-based mixture-of-expert structure, and anticipate future environmental distributions by learning a continuous-time dynamics model. Accordingly, we induce a new continual MMD method DAEDCMD. Extensive experiments demonstrate that DAEDCMD can consistently and significantly outperform the compared methods, including six MMD baselines and three continual learning methods.