A$^2$Safe: Counterfactual Evidence-Aligned Adaptive Agent Collaboration for Safe and Effective Visual Question Answering

📄 arXiv: 2609.24098v1 📥 PDF

作者: Quanxing Xu, Ling Zhou, Xian Zhong, Jinyu Tian, Xiaohua Huang, Rubing Huang, Chia-Wen Lin

分类: cs.CV

发布日期: 2026-09-21

💡 一句话要点

提出A$^2$Safe以解决视觉问答中的安全性与有效性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 多模态学习 安全性 反事实对齐 自适应协作 大语言模型 风险管理

📋 核心要点

  1. 现有的视觉问答方法在处理安全性和有效性时存在不足，特别是在风险源于图像与问题内容的交互时，容易依赖表面关联。
  2. 本文提出的A$^2$Safe框架通过反事实证据对齐，明确安全决策的基础，并支持自适应协作以应对不同风险状态。
  3. 实验结果表明，A$^2$Safe在安全评分和良性拒绝率上显著优于现有方法，展示了其在多模态问答中的有效性。

📝 摘要（中文）

视觉问答（VQA）结合多模态大语言模型（MLLMs）不仅需要生成安全有效的响应，还需基于多模态证据来做出安全决策。现有的安全对齐方法在拒绝行为和上下文风险意识方面有所改进，但在风险源于图像和问题内容之间的交互时，正确的安全结果仍可能依赖于表面的文本或视觉关联。为此，本文提出了A$^2$Safe，一个针对安全有效VQA的反事实证据对齐自适应代理协作框架。A$^2$Safe通过一个基础安全证据板组织局部视觉观察、文本意图和跨模态风险关系，使安全决策的基础变得明确。反事实安全证据对齐在安全无关变化下强制保持不变，同时在风险关键证据轻微改变时要求适当的安全状态和响应模式转换。最终的证据状态支持自适应协作，当基础证据足够时直接回答，当证据存在风险、不确定或冲突时则调用政策批评和响应修订。在安全关键和一般VQA协议下，A$^2$Safe实现了95.72的SIUO安全评分，将MOSSBench上的良性拒绝率降低到14.67%，并保持78.34的平均一般VQA评分，令token开销为27.8%。这些结果支持反事实证据对齐的自适应协作，以实现安全有效的多模态问答。

🔬 方法详解

问题定义：本文旨在解决视觉问答中安全性与有效性的问题，现有方法在风险识别和决策时存在依赖表面特征的缺陷，导致安全结果不可靠。

核心思路：A$^2$Safe框架通过构建基础安全证据板，组织视觉观察和文本意图，明确安全决策的依据，并通过反事实对齐增强模型对安全无关变化的鲁棒性。

技术框架：A$^2$Safe的整体架构包括基础安全证据板、反事实安全证据对齐模块和自适应协作机制。基础安全证据板整合多模态信息，反事实对齐模块确保在风险证据变化时的安全状态转换。

关键创新：A$^2$Safe的主要创新在于引入反事实证据对齐机制，使得模型在处理风险时能够保持对安全无关变化的鲁棒性，并在证据不确定时进行响应修订。

关键设计：在模型设计中，采用了特定的损失函数来优化安全决策的准确性，并通过调整网络结构来增强多模态信息的融合能力，确保模型在不同场景下的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

A$^2$Safe在实验中取得了95.72的SIUO安全评分，良性拒绝率降低至14.67%，并保持78.34的平均一般VQA评分，显示出在安全性和有效性上的显著提升，具有较低的token开销（27.8%）。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动客服和安全监控等场景，能够有效提升多模态问答系统的安全性与可靠性。未来，A$^2$Safe框架有望在更广泛的人工智能应用中推广，促进人机交互的安全性和有效性。

📄 摘要（原文）

Visual Question Answering (VQA) with Multimodal Large Language Models (MLLMs) requires not only producing safe and effective responses, but also grounding safety decisions in the multimodal evidence that determines risk. Recent safety-alignment methods improve refusal behavior and contextual risk awareness, yet correct safety outcomes may still rely on superficial textual or visual correlations, particularly when risk emerges from interactions between individually benign image and question content. To address this issue, we propose A$^2$Safe, a counterfactual evidence-aligned adaptive agent collaboration framework for safe and effective VQA. A$^2$Safe organizes localized visual observations, textual intent, and cross-modal risk relations through a Grounded Safety Evidence Board, making the basis of safety decisions explicit. Counterfactual safety evidence alignment enforces invariance to safety-irrelevant changes while requiring appropriate safety-state and response-mode transitions when risk-critical evidence is minimally altered. The resulting evidence state further supports adaptive collaboration, enabling direct answering when grounded evidence is sufficient and invoking policy critique and response revision when evidence is risky, uncertain, or conflicting. Under complementary safety-critical and general VQA protocols, A$^2$Safe achieves a 95.72 SIUO safety score, reduces the benign refusal rate on MOSSBench to 14.67%, and maintains an average general VQA score of 78.34 with 27.8% token overhead. These results support counterfactual evidence-aligned adaptive collaboration for safe and effective multimodal question answering.