Physics-based phenomenological characterization of cross-modal bias in multimodal models
作者: Hyeongmo Kim, Sohyun Kang, Yerin Choi, Seungyeon Ji, Junhyuk Woo, Hyunsuk Chung, Soyeon Caren Han, Kyungreem Han
分类: cs.AI, cond-mat.stat-mech
发布日期: 2026-02-24
备注: Best Paper Award at BiasinAI track in AAAI2026
💡 一句话要点
提出基于物理的表征方法，分析多模态大语言模型中的跨模态偏差问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 跨模态偏差 算法公平性 现象学解释 物理代理模型
📋 核心要点
- 现有方法难以捕捉多模态大语言模型中复杂的跨模态交互动态，可能导致系统性偏差，影响算法公平性。
- 论文提出一种基于物理的现象学表征方法，通过构建代理模型描述Transformer动态，分析跨模态偏差。
- 实验表明，多模态输入可能强化模态主导地位，而非缓解偏差，验证了所提方法的有效性。
📝 摘要（中文）
本文旨在探讨多模态大语言模型(MLLM)中由复杂模态交互动态引起的潜在系统性偏差。论文从现象学可解释性的角度出发，利用模型训练/推理过程中所经历的物理实体，而非传统的认知符号或形而上学方法，来分析算法公平性问题。为此，论文构建了一个基于物理的代理模型，描述Transformer的动态特性（语义网络结构和自/跨注意力），从而分析传统嵌入或表征层面分析无法完全捕捉的跨模态偏差。通过多输入诊断实验，包括基于扰动的Qwen2.5-Omni和Gemma 3n的情感分类分析，以及通过物理代理对Lorenz混沌时间序列预测的动态分析，验证了该方法的有效性。实验结果表明，多模态输入可能会强化模态主导地位，而非缓解它，这通过系统标签扰动下的结构化误差吸引子模式和动态分析得以揭示。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLM）中存在的跨模态偏差问题。现有方法，如基于嵌入或表征层面的分析，无法充分捕捉由复杂模态交互动态引起的偏差，导致模型在不同模态之间可能存在不公平性。这种不公平性体现在模型可能过度依赖某些模态的信息，而忽略其他模态的信息，从而产生偏差。
核心思路：论文的核心思路是采用一种基于物理的现象学方法来分析MLLM中的跨模态偏差。这种方法不依赖于传统的认知符号或形而上学解释，而是关注模型在训练和推理过程中所经历的物理实体。通过构建一个基于物理的代理模型，可以更好地理解Transformer的动态特性，从而揭示跨模态偏差的根源。
技术框架：论文构建了一个基于物理的代理模型，用于描述Transformer的动态特性，包括语义网络结构和自/跨注意力机制。该模型可以模拟MLLM在处理多模态输入时的行为，从而分析跨模态偏差的产生和传播。具体流程包括：1）构建物理代理模型；2）设计多输入诊断实验，包括情感分类和时间序列预测；3）分析实验结果，揭示跨模态偏差的模式。
关键创新：论文的关键创新在于提出了一种基于物理的现象学方法来分析MLLM中的跨模态偏差。与传统的基于嵌入或表征层面的分析不同，该方法关注模型在训练和推理过程中所经历的物理实体，从而能够更深入地理解跨模态偏差的根源。此外，论文还构建了一个基于物理的代理模型，用于描述Transformer的动态特性，这为分析跨模态偏差提供了新的工具。
关键设计：论文设计了多输入诊断实验，包括基于扰动的Qwen2.5-Omni和Gemma 3n的情感分类分析，以及通过物理代理对Lorenz混沌时间序列预测的动态分析。在情感分类实验中，通过系统地扰动输入标签，观察模型输出的变化，从而分析跨模态偏差的模式。在时间序列预测实验中，利用物理代理模型模拟Lorenz混沌系统的动态特性，从而分析模型在处理多模态输入时的行为。具体的参数设置和损失函数等技术细节在论文中没有详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，多模态输入可能会强化模态主导地位，而非缓解偏差。通过系统标签扰动下的结构化误差吸引子模式和动态分析，揭示了跨模态偏差的产生机制。该研究在Qwen2.5-Omni和Gemma 3n两个架构不同的MLLM上验证了结论的普适性。
🎯 应用场景
该研究成果可应用于提升多模态大语言模型的公平性和可靠性，尤其是在涉及敏感属性或需要高度准确性的场景，例如医疗诊断、金融风控等。通过减少跨模态偏差，可以提高模型在不同群体或模态上的表现一致性，避免歧视或错误决策。
📄 摘要（原文）
The term 'algorithmic fairness' is used to evaluate whether AI models operate fairly in both comparative (where fairness is understood as formal equality, such as "treat like cases as like") and non-comparative (where unfairness arises from the model's inaccuracy, arbitrariness, or inscrutability) contexts. Recent advances in multimodal large language models (MLLMs) are breaking new ground in multimodal understanding, reasoning, and generation; however, we argue that inconspicuous distortions arising from complex multimodal interaction dynamics can lead to systematic bias. The purpose of this position paper is twofold: first, it is intended to acquaint AI researchers with phenomenological explainable approaches that rely on the physical entities that the machine experiences during training/inference, as opposed to the traditional cognitivist symbolic account or metaphysical approaches; second, it is to state that this phenomenological doctrine will be practically useful for tackling algorithmic fairness issues in MLLMs. We develop a surrogate physics-based model that describes transformer dynamics (i.e., semantic network structure and self-/cross-attention) to analyze the dynamics of cross-modal bias in MLLM, which are not fully captured by conventional embedding- or representation-level analyses. We support this position through multi-input diagnostic experiments: 1) perturbation-based analyses of emotion classification using Qwen2.5-Omni and Gemma 3n, and 2) dynamical analysis of Lorenz chaotic time-series prediction through the physical surrogate. Across two architecturally distinct MLLMs, we show that multimodal inputs can reinforce modality dominance rather than mitigate it, as revealed by structured error-attractor patterns under systematic label perturbation, complemented by dynamical analysis.