QiNN-QJ: A Quantum-inspired Neural Network with Quantum Jump for Multimodal Sentiment Analysis

📄 arXiv: 2510.27091v1 📥 PDF

作者: Yiwei Chen, Kehuan Yan, Yu Pan, Daoyi Dong

分类: cs.LG, cs.AI, quant-ph

发布日期: 2025-10-31

💡 一句话要点

提出基于量子跳跃的量子启发神经网络QiNN-QJ，用于多模态情感分析。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 量子启发神经网络 量子跳跃 跨模态纠缠 耗散动力学

📋 核心要点

  1. 现有量子启发的多模态融合模型依赖酉变换生成纠缠，存在训练不稳定和泛化性差的问题。
  2. 提出QiNN-QJ，通过模拟量子跳跃算子，利用耗散动力学生成可控的跨模态纠缠表示。
  3. 在CMU-MOSI、CMU-MOSEI等数据集上超越SOTA模型，并通过冯-诺依曼熵增强了可解释性。

📝 摘要（中文）

量子理论提供了诸如叠加和纠缠等非经典原理，为机器学习带来了有前景的范例。然而，现有的大多数量子启发融合模型仅依赖于酉变换或类酉变换来生成量子纠缠。虽然理论上具有表达性，但这些方法通常存在训练不稳定和泛化能力有限的问题。本文提出了一种基于量子跳跃的量子启发神经网络（QiNN-QJ），用于多模态纠缠建模。首先，每个模态被编码为一个量子纯态，然后一个模拟量子跳跃（QJ）算子的可微模块将可分离的乘积态转换为纠缠表示。通过联合学习哈密顿算子和林德布拉德算子，QiNN-QJ利用耗散动力学在模态之间生成可控的跨模态纠缠，其中结构化的随机性和稳态吸引子特性有助于稳定训练和约束纠缠塑造。最终的纠缠态被投影到可训练的测量向量上以产生预测。除了在包括CMU-MOSI、CMU-MOSEI和CH-SIMS在内的基准数据集上实现优于最先进模型的性能外，QiNN-QJ还通过冯-诺依曼纠缠熵促进了增强的后验可解释性。这项工作为纠缠多模态融合建立了一个有原则的框架，并为量子启发方法在建模复杂跨模态相关性方面铺平了道路。

🔬 方法详解

问题定义：多模态情感分析旨在融合来自不同模态（如文本、音频、视频）的信息，以预测情感倾向。现有量子启发模型主要依赖酉变换进行模态融合，但此类方法训练不稳定，泛化能力有限，难以有效捕捉模态间的复杂关联。

核心思路：本文的核心在于利用量子跳跃（Quantum Jump）算子模拟模态间的纠缠过程。通过引入耗散动力学，实现对跨模态纠缠的可控生成，从而稳定训练过程并提升模型泛化能力。这种方法借鉴了量子系统中开放系统的演化方式，更贴近真实世界的复杂系统建模。

技术框架：QiNN-QJ的整体框架包括以下几个主要阶段：1) 模态编码：将每个模态的信息编码为量子纯态。2) 量子跳跃：利用可微的量子跳跃算子，将可分离的乘积态转化为纠缠态。该算子由哈密顿算子和林德布拉德算子共同控制。3) 测量预测：将纠缠态投影到可训练的测量向量上，得到最终的预测结果。

关键创新：该方法最重要的创新点在于引入了量子跳跃算子，并结合哈密顿算子和林德布拉德算子，实现了对跨模态纠缠的精细控制。与传统的基于酉变换的方法相比，QiNN-QJ利用耗散动力学，引入了结构化的随机性和稳态吸引子特性，从而稳定了训练过程，并约束了纠缠的形成。这种方法更符合实际物理系统的特性，也更易于训练和泛化。

关键设计：QiNN-QJ的关键设计包括：1) 哈密顿算子和林德布拉德算子的联合学习，以控制纠缠的生成和耗散。2) 结构化的随机性，通过引入随机噪声来探索更广阔的状态空间，避免陷入局部最优。3) 稳态吸引子特性，通过耗散动力学将系统引导到稳定的状态，从而稳定训练过程。4) 冯-诺依曼纠缠熵，用于分析和解释模型学习到的跨模态纠缠模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

QiNN-QJ在CMU-MOSI、CMU-MOSEI和CH-SIMS等基准数据集上取得了优于现有SOTA模型的性能。例如，在CMU-MOSI数据集上，QiNN-QJ的准确率相比最佳基线模型提升了超过2%。此外，通过冯-诺依曼纠缠熵分析，QiNN-QJ能够提供更深入的跨模态交互解释，增强了模型的可解释性。

🎯 应用场景

QiNN-QJ可应用于各种多模态情感分析任务，例如社交媒体情感分析、客户服务对话分析、以及电影评论情感分析等。该研究为量子启发的多模态融合提供了一个新的框架，有助于提升情感分析的准确性和可解释性，并为未来开发更强大的跨模态理解系统奠定基础。

📄 摘要（原文）

Quantum theory provides non-classical principles, such as superposition and entanglement, that inspires promising paradigms in machine learning. However, most existing quantum-inspired fusion models rely solely on unitary or unitary-like transformations to generate quantum entanglement. While theoretically expressive, such approaches often suffer from training instability and limited generalizability. In this work, we propose a Quantum-inspired Neural Network with Quantum Jump (QiNN-QJ) for multimodal entanglement modelling. Each modality is firstly encoded as a quantum pure state, after which a differentiable module simulating the QJ operator transforms the separable product state into the entangled representation. By jointly learning Hamiltonian and Lindblad operators, QiNN-QJ generates controllable cross-modal entanglement among modalities with dissipative dynamics, where structured stochasticity and steady-state attractor properties serve to stabilize training and constrain entanglement shaping. The resulting entangled states are projected onto trainable measurement vectors to produce predictions. In addition to achieving superior performance over the state-of-the-art models on benchmark datasets, including CMU-MOSI, CMU-MOSEI, and CH-SIMS, QiNN-QJ facilitates enhanced post-hoc interpretability through von-Neumann entanglement entropy. This work establishes a principled framework for entangled multimodal fusion and paves the way for quantum-inspired approaches in modelling complex cross-modal correlations.