Debiased Multimodal Personality Understanding through Dual Causal Intervention

📄 arXiv: 2605.06371v1 📥 PDF

作者: Yangfu Zhu, Zitong Han, Nianwen Ning, Yuting Wei, Yuandong Wang, Hang Feng, Zhenzhou Shao

分类: cs.AI

发布日期: 2026-05-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出双重因果干预网络DCAN，解决多模态人格理解中的偏差问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态人格理解 因果干预 偏差消除 公平性 结构因果模型

📋 核心要点

  1. 现有方法在多模态人格理解中易受受试者偏差影响，导致特征与人格特质间产生虚假关联，造成不公平的理解。
  2. 提出双重因果调整网络（DCAN），通过后门和前门调整，分别消除可观察和不可观察偏差的影响，实现因果解耦。
  3. 在CFI-V2和新构建的DMSP数据集上，DCAN显著提升了人格预测的准确性和公平性，验证了方法的有效性。

📝 摘要（中文）

多模态人格理解在以人为中心的人工智能中起着关键作用。先前的工作主要集中于学习用于视频人格理解的丰富多模态表示。然而，由于受试者来自不同的背景，它们经常受到受试者偏差（例如，可观察的年龄和不可观察的精神状态）造成的潜在危害。学习多模态特征和特质之间的这种虚假关联可能导致不公平的人格理解。在这项工作中，我们构建了一个结构因果模型（SCM）来从因果角度分析这些偏差的影响，并提出了一种新颖的双重因果调整网络（DCAN）来减轻受试者属性对人格理解的干扰。具体来说，我们设计了一个后门调整因果学习（BACL）模块，通过基于原型的混淆因子字典来阻止来自可观察人口因素的虚假相关性，然后应用前门调整因果学习（FACL）模块，通过学习的介体字典干预来解决潜在的和不可观察的偏差，从而实现表征的因果解耦以进行去混淆推理。重要的是，我们构建了一个人口统计注释的多模态学生人格（DMSP）数据集，以支持对公平性相关因素的分析和讨论。在基准数据集CFI-V2和我们的DMSP数据集上的大量实验表明，DCAN始终提高预测准确性，分别达到92.11％和92.90％。同时，CFI-V2上机会均等和人口均等方面的公平性指标分别提高了6.57％和7.97％，DMSP数据集上分别提高了15.38％和20.06％。我们的代码和DMSP数据集可在https://github.com/Sabrina-han/DCAN获得。

🔬 方法详解

问题定义：论文旨在解决多模态人格理解中存在的偏差问题。现有方法容易受到可观察（如年龄）和不可观察（如心理状态）的受试者属性的影响，导致模型学习到多模态特征和人格特质之间的虚假相关性，从而产生不公平的预测结果。这些偏差源于不同人口背景的受试者，使得模型无法准确捕捉真实的人格特征。

核心思路：论文的核心思路是通过因果干预来消除这些偏差。具体来说，作者构建了一个结构因果模型（SCM）来分析偏差的影响，并设计了双重因果调整网络（DCAN）。DCAN通过后门调整（Back-door Adjustment）消除可观察的混淆因素，并通过前门调整（Front-door Adjustment）消除潜在的、不可观察的偏差。这种双重干预旨在实现表征的因果解耦，从而进行更准确和公平的人格理解。

技术框架：DCAN包含两个主要模块：后门调整因果学习（BACL）和前门调整因果学习（FACL）。BACL模块使用基于原型的混淆因子字典来阻断可观察人口因素的虚假相关性。FACL模块则通过学习的介体字典干预来解决潜在的和不可观察的偏差。这两个模块协同工作，以实现对多模态特征的因果解耦。整体流程是先通过BACL消除可观测偏差，再通过FACL消除不可观测偏差，最终得到去偏差的表征用于人格预测。

关键创新：论文的关键创新在于提出了双重因果干预的框架，能够同时处理可观察和不可观察的偏差。与现有方法相比，DCAN不仅关注多模态特征的学习，更重要的是通过因果推理来消除偏差的影响，从而提高人格理解的公平性和准确性。此外，构建了新的DMSP数据集，为公平性相关的研究提供了支持。

关键设计：BACL模块使用基于原型的混淆因子字典，通过学习人口统计信息的原型来表示可观察的偏差。FACL模块则通过学习的介体字典进行干预，这个字典捕捉了潜在的、不可观察的偏差。损失函数的设计需要同时考虑预测的准确性和公平性，可能包含交叉熵损失、均方误差损失以及用于衡量公平性的指标（如机会均等和人口均等）。具体的网络结构未知，但可以推测包含多模态特征提取模块、原型学习模块、介体学习模块和人格预测模块。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DCAN在CFI-V2和DMSP数据集上均取得了显著的性能提升。在CFI-V2数据集上，预测准确率达到92.11%，机会均等和人口均等分别提高了6.57%和7.97%。在DMSP数据集上，预测准确率达到92.90%，机会均等和人口均等分别提高了15.38%和20.06%。这些结果表明DCAN能够有效消除偏差，提高人格理解的准确性和公平性。

🎯 应用场景

该研究成果可应用于招聘、心理咨询、人机交互等领域。通过消除人格理解中的偏差，可以实现更公平的人才选拔和更个性化的服务。未来，该方法可以扩展到其他涉及敏感属性的AI应用中，例如信用评估、风险预测等，以提高AI系统的公平性和可靠性。

📄 摘要（原文）

Multimodalpersonalityunderstandingplaysacriticalroleinhuman centered artificial intelligence. Previous work mainly focus on learn-ing rich multimodal representations for video personality under standing. However, they often suffer from potential harm caused by subject bias (e.g., observable age and unobservable mental states), as subjects originate from diverse demographic backgrounds. Learn ing such spurious associations between multimodal features and traits may lead to unfair personality understanding. In this work, weconstruct aStructural Causal Model (SCM)toanalyze theimpact of these biases from a causal perspective, and propose a novel Dual Causal Adjustment Network (DCAN) to mitigate the interference of subject attributes on personality understanding. Specifically, we design a Back-door Adjustment Causal Learning (BACL) module to block spurious correlations from observable demographic factors via a prototype-based confounder dictionary, and subsequently ap ply a Front-door Adjustment Causal Learning (FACL) module to ad dress latent and unobservable biases throughalearnedmediatordic tionary intervention, thereby achieving causal disentanglement of representations for deconfounded reasoning. Importantly, we con struct a Demographic-annotated Multimodal Student Personality (DMSP) dataset to support the analysis and discussion of fairness related factors. Extensive experiments on the benchmark dataset CFI-V2 and our DMSPdataset demonstrate that DCAN consistently improves prediction accuracy, reaching 92.11% and 92.90%, respec tively. Meanwhile, the improvementsinthefairnessmetricsofequal opportunity and demographic parity are 6.57% and 7.97% on CFI-V2, and 15.38% and 20.06% on the DMSP dataset. Our code and DMSP dataset are available at https://github.com/Sabrina-han/DCAN