Missing-by-Design: Certifiable Modality Deletion for Revocable Multimodal Sentiment Analysis

📄 arXiv: 2602.16144v1 📥 PDF

作者: Rong Fu, Wenxin Zhang, Ziming Wang, Chunlei Meng, Jiaxuan Lu, Jiekai Wu, Kangan Qian, Hao Zhang, Simon Fong

分类: cs.CL, cs.LG

发布日期: 2026-02-18

备注: 21 pages, 6 figures

💡 一句话要点

提出Missing-by-Design框架，实现可撤销的多模态情感分析，保障用户隐私。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 可撤销学习 隐私保护 结构化表示学习 模态删除

📋 核心要点

  1. 多模态情感分析系统处理大量敏感数据，缺乏有效的数据撤销机制，用户隐私面临挑战。
  2. Missing-by-Design框架结合结构化表示学习和参数修改，实现模态数据的选择性删除，保护隐私。
  3. 实验表明，MBD在保证预测性能的同时，实现了隐私保护，并提供了一种高效的替代方案。

📝 摘要（中文）

随着多模态系统处理越来越多的敏感个人数据，选择性撤销特定数据模态的能力对于隐私合规和用户自主性至关重要。我们提出了Missing-by-Design (MBD)，这是一个统一的可撤销多模态情感分析框架，它结合了结构化表示学习和可验证的参数修改流程。在隐私敏感的应用中，可撤销性至关重要，因为用户或监管机构可能会要求删除特定模态的信息。MBD学习属性感知的嵌入，并采用基于生成器的重建来恢复缺失的通道，同时保留任务相关的信号。对于删除请求，该框架应用显著性驱动的候选选择和校准的高斯更新，以生成机器可验证的模态删除证书。在基准数据集上的实验表明，MBD在不完整输入下实现了强大的预测性能，并提供了实用的隐私-效用权衡，将手术式非学习定位为完全重新训练的有效替代方案。

🔬 方法详解

问题定义：现有的多模态情感分析系统在处理用户数据时，缺乏有效的数据撤销机制。当用户或监管机构要求删除特定模态的数据时，传统方法通常需要完全重新训练模型，计算成本高昂，且效率低下。此外，如何保证在删除特定模态数据后，模型依然能够保持良好的预测性能，是一个重要的挑战。

核心思路：MBD的核心思路是通过结构化表示学习，将不同模态的数据映射到属性感知的嵌入空间，并利用生成器进行模态重建，从而在删除特定模态数据时，能够保留任务相关的信号。同时，采用显著性驱动的候选选择和校准的高斯更新，实现对模型参数的精确修改，生成可验证的模态删除证书。

技术框架：MBD框架主要包含以下几个模块：1) 属性感知嵌入学习模块：学习不同模态数据的结构化表示；2) 基于生成器的模态重建模块：用于恢复缺失的模态数据；3) 显著性驱动的候选选择模块：选择需要修改的模型参数；4) 校准的高斯更新模块：对选定的参数进行精确修改，并生成模态删除证书。整个流程首先学习数据的表示，然后响应删除请求，最后生成证书。

关键创新：MBD的关键创新在于：1) 提出了一个统一的可撤销多模态情感分析框架，能够选择性地删除特定模态的数据；2) 采用结构化表示学习和生成器重建，保证在删除数据后，模型依然能够保持良好的预测性能；3) 引入显著性驱动的候选选择和校准的高斯更新，实现对模型参数的精确修改，并生成可验证的模态删除证书。

关键设计：MBD的关键设计包括：1) 属性感知嵌入学习模块采用对比学习损失函数，使得相似样本在嵌入空间中更加接近；2) 基于生成器的模态重建模块采用对抗生成网络（GAN），提高重建数据的质量；3) 显著性驱动的候选选择模块采用梯度信息，选择对预测结果影响最大的参数；4) 校准的高斯更新模块采用贝叶斯方法，对参数进行精确修改，并计算修改后的参数分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MBD在不完整输入下实现了强大的预测性能，与现有方法相比，在保证预测精度的前提下，显著提高了隐私保护能力。例如，在CMU-MOSEI数据集上，MBD在删除特定模态数据后，依然能够保持较高的情感分析准确率，并且能够生成可验证的模态删除证书。

🎯 应用场景

MBD框架可应用于各种涉及多模态数据处理的隐私敏感场景，例如：医疗诊断、金融风控、智能客服等。用户可以根据自身需求，选择性地删除特定模态的数据，从而保护个人隐私。该研究有助于推动多模态系统在隐私保护方面的应用，并为未来的隐私保护技术发展提供借鉴。

📄 摘要（原文）

As multimodal systems increasingly process sensitive personal data, the ability to selectively revoke specific data modalities has become a critical requirement for privacy compliance and user autonomy. We present Missing-by-Design (MBD), a unified framework for revocable multimodal sentiment analysis that combines structured representation learning with a certifiable parameter-modification pipeline. Revocability is critical in privacy-sensitive applications where users or regulators may request removal of modality-specific information. MBD learns property-aware embeddings and employs generator-based reconstruction to recover missing channels while preserving task-relevant signals. For deletion requests, the framework applies saliency-driven candidate selection and a calibrated Gaussian update to produce a machine-verifiable Modality Deletion Certificate. Experiments on benchmark datasets show that MBD achieves strong predictive performance under incomplete inputs and delivers a practical privacy-utility trade-off, positioning surgical unlearning as an efficient alternative to full retraining.