CEMTM: Contextual Embedding-based Multimodal Topic Modeling

📄 arXiv: 2509.11465v2 📥 PDF

作者: Amirhossein Abaskohi, Raymond Li, Chuyuan Li, Shafiq Joty, Giuseppe Carenini

分类: cs.CL, cs.LG

发布日期: 2025-09-14 (更新: 2025-10-05)

备注: EMNLP 2025

💡 一句话要点

CEMTM：基于上下文嵌入的多模态主题模型，提升短文档和长文档的主题一致性和可解释性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态主题模型 上下文嵌入 视觉语言模型 注意力机制 文档检索 语义一致性 少样本学习

📋 核心要点

  1. 现有方法难以从包含文本和图像的文档中提取连贯且可解释的主题，尤其是在处理多个图像时。
  2. CEMTM利用大型视觉语言模型获取上下文嵌入，并通过注意力机制和重构目标来提升主题的一致性和可解释性。
  3. 实验结果表明，CEMTM在多个多模态基准测试中显著优于现有方法，并在少样本检索和视觉语义捕获方面表现出色。

📝 摘要（中文）

本文提出了一种上下文增强的多模态主题模型CEMTM，旨在从包含文本和图像的短文档和长文档中推断出连贯且可解释的主题结构。CEMTM利用微调的大型视觉语言模型（LVLMs）来获得上下文嵌入，并采用分布式的注意力机制来衡量token级别对主题推断的贡献。一个重构目标将基于主题的表示与文档嵌入对齐，从而鼓励跨模态的语义一致性。与现有方法不同，CEMTM可以处理每个文档的多个图像而无需重复编码，并通过显式的词-主题和文档-主题分布来保持可解释性。在六个多模态基准上的大量实验表明，CEMTM始终优于单模态和多模态基线，实现了平均LLM得分2.61的显著提升。进一步的分析表明了其在下游少样本检索中的有效性，以及在科学文章等复杂领域中捕获视觉语义的能力。

🔬 方法详解

问题定义：现有方法在多模态主题建模中存在局限性，尤其是在处理包含多个图像的文档时，需要重复编码图像，效率较低。此外，现有方法在短文本和长文本中提取连贯且可解释的主题方面表现不佳，缺乏对上下文信息的有效利用。

核心思路：CEMTM的核心思路是利用大型视觉语言模型（LVLMs）来获取文本和图像的上下文嵌入，并通过分布式的注意力机制来衡量不同token对主题推断的贡献。通过重构目标，将基于主题的表示与文档嵌入对齐，从而保证跨模态的语义一致性，提升主题的连贯性和可解释性。

技术框架：CEMTM的整体框架包括以下几个主要模块：1) 上下文嵌入模块：使用预训练的LVLM（例如，CLIP）来获取文本和图像的上下文嵌入。2) 注意力机制模块：采用分布式的注意力机制来衡量每个token对主题推断的贡献，从而更好地捕捉文档中的关键信息。3) 主题建模模块：基于上下文嵌入和注意力权重，推断文档的主题分布。4) 重构模块：通过重构目标，将基于主题的表示与文档嵌入对齐，从而保证跨模态的语义一致性。

关键创新：CEMTM的关键创新在于：1) 利用LVLM获取上下文嵌入，从而更好地捕捉文本和图像的语义信息。2) 采用分布式的注意力机制，能够自适应地衡量不同token对主题推断的贡献。3) 通过重构目标，显式地对齐基于主题的表示和文档嵌入，从而提升主题的连贯性和可解释性。4) 可以处理每个文档的多个图像而无需重复编码，提高了效率。

关键设计：CEMTM的关键设计包括：1) 使用预训练的CLIP模型作为LVLM，并进行微调以适应特定的多模态数据集。2) 注意力机制采用softmax函数进行归一化，从而得到每个token的注意力权重。3) 重构目标采用均方误差损失函数，用于衡量基于主题的表示和文档嵌入之间的差异。4) 文档-主题分布和词-主题分布通过Dirichlet先验进行正则化，以提高主题的可解释性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CEMTM在六个多模态基准测试中取得了显著的性能提升，平均LLM得分达到2.61，显著优于单模态和多模态基线。在下游少样本检索任务中，CEMTM也表现出优异的性能。此外，CEMTM能够有效捕获科学文章等复杂领域中的视觉语义，证明了其在复杂多模态场景下的适用性。

🎯 应用场景

CEMTM可应用于多种多模态信息处理任务，例如多模态文档检索、图像标注、社交媒体内容分析和科学文献理解。该模型能够有效提取文档中的主题信息，从而提升信息检索和内容理解的准确性和效率。在教育、医疗、金融等领域具有广泛的应用前景。

📄 摘要（原文）

We introduce CEMTM, a context-enhanced multimodal topic model designed to infer coherent and interpretable topic structures from both short and long documents containing text and images. CEMTM builds on fine-tuned large vision language models (LVLMs) to obtain contextualized embeddings, and employs a distributional attention mechanism to weight token-level contributions to topic inference. A reconstruction objective aligns topic-based representations with the document embedding, encouraging semantic consistency across modalities. Unlike existing approaches, CEMTM can process multiple images per document without repeated encoding and maintains interpretability through explicit word-topic and document-topic distributions. Extensive experiments on six multimodal benchmarks show that CEMTM consistently outperforms unimodal and multimodal baselines, achieving a remarkable average LLM score of 2.61. Further analysis shows its effectiveness in downstream few-shot retrieval and its ability to capture visually grounded semantics in complex domains such as scientific articles.