Unveiling Trust in Multimodal Large Language Models: Evaluation, Analysis, and Mitigation

📄 arXiv: 2508.15370v1 📥 PDF

作者: Yichi Zhang, Yao Huang, Yifan Wang, Yitong Sun, Chang Liu, Zhe Zhao, Zhengwei Fang, Huanran Chen, Xiao Yang, Xingxing Wei, Hang Su, Yinpeng Dong, Jun Zhu

分类: cs.CL, cs.AI

发布日期: 2025-08-21

备注: For Appendix, please refer to arXiv:2406.07057

💡 一句话要点

提出MultiTrust-X基准，用于评估、分析和缓解多模态大语言模型中的信任问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 可信度评估 安全对齐 风险缓解 思维链推理

📋 核心要点

  1. 现有MLLM评估方法侧重于特定方面，忽略了多模态引入的新风险，缺乏全面性。
  2. 提出MultiTrust-X基准，从真实性、鲁棒性、安全性等多个维度评估MLLM的可信度，并分析多模态风险。
  3. 实验表明现有MLLM存在可信度漏洞，且多模态训练会放大风险。提出的RESA方法通过推理提升安全性。

📝 摘要（中文）

尽管多模态大语言模型(MLLMs)的能力取得了显著进展，但其可信度仍然是一个令人担忧的问题。现有的评估和缓解方法通常侧重于狭隘的方面，并忽略了多模态引入的风险。为了应对这些挑战，我们提出了MultiTrust-X，这是一个全面的基准，用于评估、分析和缓解MLLMs的可信度问题。我们定义了一个三维框架，包括五个可信度方面（真实性、鲁棒性、安全性、公平性和隐私）；两种新的风险类型（涵盖多模态风险和跨模态影响）；以及从数据、模型架构、训练和推理算法角度出发的各种缓解策略。基于该分类法，MultiTrust-X包含32个任务和28个精心策划的数据集，能够对30个开源和专有MLLM进行整体评估，并通过8种具有代表性的缓解方法进行深入分析。我们的大量实验揭示了当前模型中的重大漏洞，包括可信度与通用能力之间的差距，以及多模态训练和推理对基础LLM中潜在风险的放大。此外，我们的受控分析揭示了现有缓解策略的关键局限性，虽然某些方法在特定方面有所改进，但很少有方法能有效解决整体可信度问题，并且许多方法引入了意想不到的权衡，从而损害了模型的效用。这些发现也为未来的改进提供了实用的见解，例如推理对于更好地平衡安全性和性能的好处。基于这些见解，我们引入了一种推理增强的安全对齐(RESA)方法，该方法使模型具备思维链推理能力，以发现潜在的风险，从而获得最先进的结果。

🔬 方法详解

问题定义：现有对多模态大语言模型（MLLMs）的评估方法不够全面，无法充分揭示和解决其可信度问题。具体来说，这些方法往往只关注真实性或安全性等单一维度，忽略了多模态数据带来的新型风险，例如跨模态的恶意信息传递。此外，现有的缓解策略也存在局限性，难以在提升特定可信度指标的同时，避免损害模型的通用能力。

核心思路：MultiTrust-X的核心思路是构建一个全面的、多维度的评估基准，以系统性地评估、分析和缓解MLLMs的可信度问题。该基准不仅考虑了传统的真实性、鲁棒性等可信度维度，还特别关注了多模态数据带来的新型风险，并提供了从数据、模型、训练和推理等多个角度出发的缓解策略。

技术框架：MultiTrust-X包含一个三维框架：(1) 五个可信度方面（真实性、鲁棒性、安全性、公平性和隐私）；(2) 两种新型风险类型（多模态风险和跨模态影响）；(3) 多种缓解策略（数据增强、模型架构改进、训练算法优化、推理算法调整）。基于此框架，MultiTrust-X构建了32个任务和28个数据集，用于全面评估MLLMs的可信度。

关键创新：MultiTrust-X的关键创新在于其全面性和多维度性。它不仅考虑了传统的LLM可信度问题，还特别关注了多模态数据带来的新型风险，并提供了系统性的缓解策略。此外，论文还提出了推理增强的安全对齐(RESA)方法，通过赋予模型思维链推理能力，提升其安全性。

关键设计：RESA方法的关键设计在于利用思维链推理来帮助模型发现潜在的风险。具体来说，RESA首先让模型生成一系列推理步骤，解释为什么某个输入可能存在风险，然后基于这些推理步骤来做出最终的决策。这种方法可以帮助模型更好地理解输入的语义，从而更准确地识别和避免风险。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的MLLM在MultiTrust-X基准上表现出显著的可信度漏洞。例如，多模态训练可能会放大基础LLM的风险。此外，RESA方法在安全性方面取得了最先进的结果，表明推理能力可以有效提升MLLM的安全性。实验还揭示了现有缓解策略的局限性，许多方法在提升特定可信度指标的同时，会损害模型的通用能力。

🎯 应用场景

该研究成果可应用于开发更安全、可靠的多模态人工智能系统，例如自动驾驶、智能医疗诊断、以及内容审核等领域。通过MultiTrust-X基准，研究人员和开发者可以系统性地评估和改进MLLMs的可信度，从而降低其在实际应用中产生负面影响的风险。

📄 摘要（原文）

The trustworthiness of Multimodal Large Language Models (MLLMs) remains an intense concern despite the significant progress in their capabilities. Existing evaluation and mitigation approaches often focus on narrow aspects and overlook risks introduced by the multimodality. To tackle these challenges, we propose MultiTrust-X, a comprehensive benchmark for evaluating, analyzing, and mitigating the trustworthiness issues of MLLMs. We define a three-dimensional framework, encompassing five trustworthiness aspects which include truthfulness, robustness, safety, fairness, and privacy; two novel risk types covering multimodal risks and cross-modal impacts; and various mitigation strategies from the perspectives of data, model architecture, training, and inference algorithms. Based on the taxonomy, MultiTrust-X includes 32 tasks and 28 curated datasets, enabling holistic evaluations over 30 open-source and proprietary MLLMs and in-depth analysis with 8 representative mitigation methods. Our extensive experiments reveal significant vulnerabilities in current models, including a gap between trustworthiness and general capabilities, as well as the amplification of potential risks in base LLMs by both multimodal training and inference. Moreover, our controlled analysis uncovers key limitations in existing mitigation strategies that, while some methods yield improvements in specific aspects, few effectively address overall trustworthiness, and many introduce unexpected trade-offs that compromise model utility. These findings also provide practical insights for future improvements, such as the benefits of reasoning to better balance safety and performance. Based on these insights, we introduce a Reasoning-Enhanced Safety Alignment (RESA) approach that equips the model with chain-of-thought reasoning ability to discover the underlying risks, achieving state-of-the-art results.