Leveraging Hallucinations to Reduce Manual Prompt Dependency in Promptable Segmentation
作者: Jian Hu, Jiayi Lin, Junchi Yan, Shaogang Gong
分类: cs.CV
发布日期: 2024-08-27 (更新: 2024-11-22)
备注: NeurIPS 2024
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
利用大语言模型幻觉提升可控分割精度，降低人工提示依赖
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可控分割 多模态大语言模型 幻觉利用 提示工程 迭代学习
📋 核心要点
- 现有可控分割方法依赖于大量人工标注的实例特定提示，成本高昂且效率低下，限制了其应用范围。
- 论文提出ProMaC框架，创新性地利用多模态大语言模型的幻觉，挖掘图像中的任务相关信息，生成更精确的实例特定提示。
- 实验结果表明，ProMaC在多个基准数据集上显著提升了可控分割的性能，有效降低了对人工提示的依赖。
📝 摘要（中文）
可控分割通常需要针对每个目标实例的人工提示来引导分割。为了减少这种需求，任务通用可控分割被提出，它使用单个任务通用提示来分割同一任务中不同对象的各种图像。目前的方法使用多模态大型语言模型（MLLM）从任务通用提示中推理出详细的实例特定提示，以提高分割精度。这种分割的有效性在很大程度上取决于这些派生提示的精度。然而，MLLM在推理过程中经常出现幻觉，导致不准确的提示。虽然现有的方法侧重于消除幻觉以改进模型，但我们认为，当正确利用MLLM幻觉时，可以揭示有价值的上下文信息，因为它们代表了超出单个图像的预训练大规模知识。在本文中，我们利用幻觉从图像中挖掘任务相关信息，并验证其准确性，以提高生成提示的精度。具体来说，我们引入了一个迭代的提示-掩码循环生成框架（ProMaC），包含一个提示生成器和一个掩码生成器。提示生成器使用多尺度思维链提示，最初探索幻觉以提取测试图像上的扩展上下文知识。然后减少这些幻觉，以制定精确的实例特定提示，指导掩码生成器通过掩码语义对齐生成与任务语义一致的掩码。生成的掩码迭代地引导提示生成器更多地关注任务相关的图像区域，并减少不相关的幻觉，从而共同产生更好的提示和掩码。在5个基准测试上的实验证明了ProMaC的有效性。
🔬 方法详解
问题定义：现有的可控分割方法需要大量人工标注的、实例特定的提示信息，这限制了其在实际应用中的可扩展性。任务通用可控分割旨在通过单个任务通用提示来分割不同对象的图像，但现有方法依赖MLLM生成实例特定提示，而MLLM的幻觉问题导致提示不准确，进而影响分割效果。
核心思路：论文的核心思路是变废为宝，将MLLM的幻觉视为一种蕴含大规模预训练知识的资源，通过挖掘和验证幻觉中的任务相关信息，来提升生成提示的精度。通过迭代的提示-掩码循环，模型可以逐步聚焦于图像中与任务相关的区域，减少不相关幻觉的干扰。
技术框架：ProMaC框架包含两个主要模块：提示生成器和掩码生成器。提示生成器使用多尺度思维链提示，首先探索幻觉以提取扩展的上下文知识，然后将幻觉提炼为精确的实例特定提示。掩码生成器根据提示生成分割掩码，并通过掩码语义对齐确保掩码与任务语义一致。这两个模块通过迭代循环相互促进，不断优化提示和掩码的质量。
关键创新：论文的关键创新在于将MLLM的幻觉从负面因素转化为正面资源。通过设计有效的挖掘和验证机制，ProMaC能够从幻觉中提取有用的任务相关信息，并将其用于提升提示的精度。这种方法与现有专注于消除幻觉的方法形成了鲜明对比。
关键设计：ProMaC使用多尺度思维链提示来探索幻觉，这有助于模型从不同层次理解图像内容。掩码语义对齐损失函数用于确保生成的掩码与任务语义一致。迭代的提示-掩码循环允许模型逐步聚焦于任务相关的图像区域，并减少不相关幻觉的干扰。具体的网络结构和参数设置在论文中有详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
ProMaC在5个基准数据集上进行了评估，实验结果表明，ProMaC在可控分割任务上取得了显著的性能提升。具体的数据和提升幅度在论文中有详细描述（未知），但总体而言，ProMaC能够有效利用MLLM的幻觉，生成更精确的提示，从而提高分割精度。
🎯 应用场景
该研究成果可应用于多种图像分割任务，例如医学图像分析、自动驾驶场景理解、遥感图像解译等。通过降低对人工提示的依赖，可以显著降低标注成本，提高分割效率，加速相关领域的智能化进程。未来，该方法有望扩展到其他需要人工干预的计算机视觉任务中。
📄 摘要（原文）
Promptable segmentation typically requires instance-specific manual prompts to guide the segmentation of each desired object. To minimize such a need, task-generic promptable segmentation has been introduced, which employs a single task-generic prompt to segment various images of different objects in the same task. Current methods use Multimodal Large Language Models (MLLMs) to reason detailed instance-specific prompts from a task-generic prompt for improving segmentation accuracy. The effectiveness of this segmentation heavily depends on the precision of these derived prompts. However, MLLMs often suffer hallucinations during reasoning, resulting in inaccurate prompting. While existing methods focus on eliminating hallucinations to improve a model, we argue that MLLM hallucinations can reveal valuable contextual insights when leveraged correctly, as they represent pre-trained large-scale knowledge beyond individual images. In this paper, we utilize hallucinations to mine task-related information from images and verify its accuracy for enhancing precision of the generated prompts. Specifically, we introduce an iterative Prompt-Mask Cycle generation framework (ProMaC) with a prompt generator and a mask generator.The prompt generator uses a multi-scale chain of thought prompting, initially exploring hallucinations for extracting extended contextual knowledge on a test image.These hallucinations are then reduced to formulate precise instance-specific prompts, directing the mask generator to produce masks that are consistent with task semantics by mask semantic alignment. The generated masks iteratively induce the prompt generator to focus more on task-relevant image areas and reduce irrelevant hallucinations, resulting jointly in better prompts and masks. Experiments on 5 benchmarks demonstrate the effectiveness of ProMaC. Code given in https://lwpyh.github.io/ProMaC/.