Omni-UBench: Benchmarking Omni-Modal LLM-based Guardrails Across Safety, Utility, and Reliability
作者: Junhao Wang, Yidou Chen, Li Lu, Hongwei Yao, Xiaodan Li, Mengjie Wu, Yuefeng Chen, Zhan Qin, Kui Ren
分类: cs.CR, cs.CL, cs.HC
发布日期: 2026-10-22
💡 一句话要点
提出Omni-UBench以评估多模态LLM安全性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态防护 安全评估 大型语言模型 跨模态查询 内容审核
📋 核心要点
- 现有的多模态防护措施在识别隐藏有害意图的跨模态查询方面存在显著不足。
- 本文提出Omni-UBench框架，通过综合评估多模态防护措施的安全性、实用性和可靠性，填补了评估空白。
- 基于Omni-UBench的实验结果表明，现代OLLM在内容审核方面表现优异，但现有防护措施在跨模态安全语义理解上仍显不足。
📝 摘要（中文）
随着多模态大型语言模型（OLLMs）的发展，人机交互变得更加无缝，但其对异构模态的统一处理也扩大了攻击面，使得对手能够利用丰富的输入组合来规避安全对齐。为应对这些风险，提出了多模态防护措施以检测和过滤不安全的查询。然而，由于缺乏全面的评估基准，其能力和局限性尚不明确。本文提出了Omni-UBench，这是第一个全面的多模态安全评估框架，评估防护模型在安全性、实用性和可靠性三个关键维度上的表现。Omni-UBench从35个异构来源中整理了超过183,000个样本，并在统一风险分类下进行了安全标签注释。对15个代表性OLLM和多模态防护措施的基准测试揭示了若干关键发现，包括现代OLLM在没有特定调优的情况下展现出强大的内容审核潜力等。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型（OLLMs）在安全性评估方面的不足，尤其是现有防护措施在识别复杂跨模态查询时的局限性。
核心思路：提出Omni-UBench框架，通过构建一个全面的评估基准，系统性地评估多模态防护措施在安全性、实用性和可靠性方面的表现，以便更好地理解其能力和局限性。
技术框架：Omni-UBench框架包括数据采集、样本标注、模型评估和结果分析四个主要模块。数据采集阶段从35个异构来源中获取样本，样本标注阶段则为每个样本分配安全标签。模型评估阶段对15个OLLM和防护措施进行基准测试，最后通过结果分析总结关键发现。
关键创新：Omni-UBench的最大创新在于其综合性和系统性，首次提供了一个统一的风险分类标准，能够有效评估多模态防护措施的性能，与现有方法相比，填补了评估的空白。
关键设计：在样本标注过程中，采用了统一的风险分类标准，确保了不同模态之间的可比性。此外，评估过程中使用了多种性能指标，以全面反映防护措施的效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现代OLLM在没有特定调优的情况下，展现出强大的内容审核能力；然而，现有防护措施在识别复杂跨模态查询时仍存在显著不足，尤其是在安全幻觉和对文本模式的过度敏感性方面，揭示了对跨模态安全语义理解的缺陷。
🎯 应用场景
该研究的潜在应用领域包括安全审计、内容审核和人机交互系统等。通过提供一个标准化的评估框架，研究者和开发者可以更有效地设计和优化多模态防护措施，提升系统的安全性和可靠性，未来可能对AI系统的安全性标准化产生深远影响。
📄 摘要（原文）
Advances in Omni-modal Large Language Models (OLLMs) have enabled increasingly seamless human-AI interaction, but their unified processing of heterogeneous modalities also expands the attack surface, allowing adversaries to exploit richer input compositions to circumvent safety alignment. To counter such risks, omni-modal guardrails have been proposed to detect and filter unsafe queries across arbitrary modalities. However, their capabilities and limitations remain insufficiently understood due to the absence of a comprehensive evaluation benchmark. In this paper, we present Omni-UBench, the first comprehensive framework for omni-modal safety assessment, evaluating guardrail models along three critical dimensions, i.e., safety, utility, and reliability. Omni-UBench curates over 183k samples drawn from 35+ heterogeneous sources spanning text, image, audio, video, and their cross-modal combinations, annotated with safety labels under a unified risk taxonomy. Benchmarking under Omni-UBench on 15 representative OLLMs and omni-modal guardrails yields several key findings, including: (1) modern OLLMs exhibit strong content moderation potential even without guardrail-specific tuning; (2) existing guardrails still struggle to identify cross-modal queries that conceal harmful intent or involve sophisticated jailbreaks; (3) they further exhibit substantial safety hallucination and over-sensitivity to textual patterns, revealing a deficient understanding of cross-modal safety semantics. Our findings provide valuable insights for developing more trustworthy omni-modal guardrails in future research.