Visual Abstention in Unified Multimodal Models

📄 arXiv: 2610.07887v1 📥 PDF

作者: Chufan Shi, Cheng Yang, Tiannuo Yang, Isadora White, Yiwei Chen, Taylor Berg-Kirkpatrick, Xuezhe Ma

分类: cs.CL, cs.AI, cs.CV

发布日期: 2026-10-06

备注: 25 pages, 6 figures, 13 tables. Project page: https://visual-abstention.github.io

💡 一句话要点

提出视觉放弃机制以提升多模态模型的生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉放弃 多模态模型 生成能力 请求可行性 图像编辑 机器学习 深度学习

📋 核心要点

  1. 现有的统一多模态模型在处理不可行的视觉请求时，往往无法正确识别并拒绝生成，导致生成错误结果。
  2. 本文提出视觉放弃机制，设计了VisTA训练方法，使模型在生成前判断请求的可行性，从而有效拒绝不可行请求。
  3. 实验结果表明，VisTA-BAGEL能够拒绝93.0%的不可行请求，同时保持74.3%的可行编辑成功率，显著提升了模型的性能。

📝 摘要（中文）

统一多模态模型（UMMs）整合了理解与生成能力，但其生成行为往往未能基于对任务的理解进行调控。本文提出了视觉放弃的概念，即在任务规则下无法完成的视觉转换请求时，模型应识别并拒绝生成。我们引入了Draw-or-Decline（DoD）基准，包含1050对可行与不可行的请求，评估编辑成功率与拒绝不可行请求的能力。通过对8个UMMs的评估发现，编辑能力与放弃能力是独立的，最强编辑器的编辑准确率为68.4%，但仅拒绝0.4%的不可行请求。我们提出了VisTA（视觉转换与放弃）训练方法，通过将可行与不可行的示例配对，使模型在生成前判断请求的可行性。经过训练的VisTA-BAGEL能够拒绝93.0%的不可行请求，同时完成74.3%的可行编辑，显著优于其他模型。

🔬 方法详解

问题定义：本文旨在解决统一多模态模型在面对不可行视觉请求时的生成错误问题。现有方法在处理此类请求时，往往未能识别冲突，导致生成不符合任务要求的结果。

核心思路：论文提出视觉放弃机制，要求模型在生成之前判断请求的可行性。通过引入VisTA训练方法，模型能够在面对不可行请求时主动拒绝生成，从而提高生成的准确性和合理性。

技术框架：整体架构包括两个主要阶段：首先，模型通过VisTA方法接收可行与不可行的请求示例进行训练；其次，模型在生成时判断请求的可行性，决定是否进行生成或拒绝。

关键创新：最重要的技术创新在于引入了视觉放弃机制，使得模型能够主动拒绝不可行请求。这一机制与现有方法的本质区别在于，现有方法通常仅关注生成结果，而忽视了请求的可行性判断。

关键设计：在训练过程中，模型使用了一种新的损失函数，以平衡可行请求的编辑成功率与不可行请求的拒绝率。此外，网络结构经过调整，以增强模型对请求可行性的判断能力。具体参数设置和网络层次结构的细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过VisTA训练的VisTA-BAGEL能够拒绝93.0%的不可行请求，相较于最强编辑器的0.4%有显著提升。同时，VisTA-BAGEL在可行请求的编辑成功率上达到74.3%，超过了所有评估的8个UMMs，展现了其在多模态生成任务中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括图像编辑、自动化设计和人机交互等场景。通过引入视觉放弃机制，模型能够在生成过程中更准确地判断请求的可行性，从而提高用户体验和生成结果的质量。未来，该方法有望在多模态生成任务中得到广泛应用，推动相关技术的发展。

📄 摘要（原文）

Unified multimodal models (UMMs) integrate understanding and generation, yet their generative behavior is rarely governed by what they understand about the task. We formalize visual abstention: when a requested visual transformation is impossible under the task's rules, the model should recognize that no valid solution exists, state this, and decline to generate. We introduce Draw-or-Decline (DoD), a benchmark of 1,050 feasible-infeasible request pairs across 7 task categories that jointly measures editing success and the refusal of infeasible requests. Evaluating 8 UMMs, we find that editing ability and abstention are distinct capabilities: even the strongest editor, at 68.4% editing accuracy, refuses only 0.4% of infeasible requests under ordinary instructions. Their reasoning shows why: the models rarely notice the conflict, and instead plan the edit as if the request were possible, often describing objects that are not in the image, or quietly change the request into one they can complete. Explicitly prompting these UMMs to report infeasibility increases textual refusals but reduces editing accuracy. We propose VisTA (Visual Transformation and Abstention), a training method that pairs feasible and infeasible examples so that a model judges feasibility before deciding whether to generate. We train VisTA-BAGEL to perform feasible edits and decline infeasible requests. Without any reminder, it refuses 93.0% of infeasible requests, up from 0.4% for the strongest editor, while falsely refusing only 0.8% of feasible ones. Unlike a reminder, this does not cost editing accuracy: VisTA-BAGEL completes 74.3% of feasible edits, more than any of the 8 evaluated UMMs.