Visual Consensus Prompting for Co-Salient Object Detection

📄 arXiv: 2504.14254v1 📥 PDF

作者: Jie Wang, Nana Yu, Zihao Zhang, Yahong Han

分类: cs.CV

发布日期: 2025-04-19

备注: CVPR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出视觉共识提示（VCP）方法，解决共显著性目标检测中效率和交互不足的问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 共显著性目标检测 视觉共识提示 提示学习 参数高效 预训练模型

📋 核心要点

  1. 现有CoSOD方法依赖编码特征提取共识，但提取的共识无法及时指导编码阶段，存在交互不足的问题。
  2. 提出视觉共识提示（VCP）方法，通过参数高效的提示调优范式，将共识嵌入提示中，引导预训练模型。
  3. 实验表明，VCP方法在CoCA数据集上，F_m指标提升6.8%，超越了13个最先进的完全微调模型。

📝 摘要（中文）

现有的共显著性目标检测(CoSOD)方法通常采用三阶段架构（即编码、共识提取与分散和预测）以及典型的完全微调范式。虽然它们产生了一定的好处，但存在两个明显的局限性：1)这种架构依赖于编码特征来促进共识提取，但精心提取的共识不能为编码阶段提供及时的指导。2)这种范式涉及全局更新模型的所有参数，这是参数低效的，并且阻碍了基础模型中知识的有效表示。因此，在本文中，我们提出了一种交互有效且参数高效的简洁架构用于CoSOD任务，解决了两个关键的局限性。它首次引入了一种参数高效的提示调优范式，并将共识无缝地嵌入到提示中，以形成特定于任务的视觉共识提示(VCP)。我们的VCP旨在通过使用最小的可调参数制定特定于任务的视觉共识提示，来诱导冻结的基础模型在CoSOD任务上表现更好。具体来说，有目的的共识提示生成器(CPG)的主要见解是强制有限的可调参数集中于共显著性表示并生成共识提示。公式化的共识提示分散器(CPD)利用共识提示来形成特定于任务的视觉共识提示，从而激发预训练模型在解决CoSOD任务中的强大潜力。大量的实验表明，我们简洁的VCP优于13个最先进的完全微调模型，实现了新的最先进水平(在最具挑战性的CoCA数据集上，F_m指标提高了6.8%)。

🔬 方法详解

问题定义：现有CoSOD方法通常采用三阶段架构和完全微调范式，存在两个主要痛点：一是共识提取与编码阶段缺乏有效交互，二是完全微调参数效率低，无法有效利用预训练模型的知识。

核心思路：论文的核心思路是利用参数高效的提示学习，将共识信息融入到提示中，形成视觉共识提示（VCP），从而引导冻结的预训练模型更好地完成CoSOD任务。通过最小化可调参数，使模型专注于学习共显著性表示。

技术框架：该方法主要包含两个模块：共识提示生成器（CPG）和共识提示分散器（CPD）。CPG负责生成共识提示，其目标是让有限的可调参数集中于共显著性表示。CPD利用生成的共识提示，形成特定于任务的视觉共识提示，从而激发预训练模型在CoSOD任务中的潜力。

关键创新：该方法的主要创新在于首次将参数高效的提示调优范式应用于CoSOD任务，并设计了专门的CPG和CPD模块，实现了共识信息与预训练模型的有效融合。与传统的完全微调方法相比，VCP方法参数效率更高，且能更好地利用预训练模型的知识。

关键设计：CPG的设计目标是生成高质量的共识提示，其具体实现细节（如网络结构、损失函数等）未知。CPD的设计目标是将共识提示融入到预训练模型的特征中，形成特定于任务的视觉共识提示，其具体实现细节也未知。论文强调了参数高效性，因此可调参数的数量应该远小于完全微调方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的VCP方法在CoSOD任务上取得了显著的性能提升，超越了13个最先进的完全微调模型。在最具挑战性的CoCA数据集上，F_m指标提升了6.8%，达到了新的state-of-the-art水平。这验证了VCP方法在参数效率和性能方面的优势。

🎯 应用场景

该研究成果可应用于图像搜索、视频监控、机器人视觉等领域，提升多图像场景下目标检测和分割的准确性和效率。通过高效利用预训练模型，降低了模型训练的计算成本，为资源受限场景下的应用提供了可能。未来可进一步探索VCP在其他视觉任务中的应用潜力。

📄 摘要（原文）

Existing co-salient object detection (CoSOD) methods generally employ a three-stage architecture (i.e., encoding, consensus extraction & dispersion, and prediction) along with a typical full fine-tuning paradigm. Although they yield certain benefits, they exhibit two notable limitations: 1) This architecture relies on encoded features to facilitate consensus extraction, but the meticulously extracted consensus does not provide timely guidance to the encoding stage. 2) This paradigm involves globally updating all parameters of the model, which is parameter-inefficient and hinders the effective representation of knowledge within the foundation model for this task. Therefore, in this paper, we propose an interaction-effective and parameter-efficient concise architecture for the CoSOD task, addressing two key limitations. It introduces, for the first time, a parameter-efficient prompt tuning paradigm and seamlessly embeds consensus into the prompts to formulate task-specific Visual Consensus Prompts (VCP). Our VCP aims to induce the frozen foundation model to perform better on CoSOD tasks by formulating task-specific visual consensus prompts with minimized tunable parameters. Concretely, the primary insight of the purposeful Consensus Prompt Generator (CPG) is to enforce limited tunable parameters to focus on co-salient representations and generate consensus prompts. The formulated Consensus Prompt Disperser (CPD) leverages consensus prompts to form task-specific visual consensus prompts, thereby arousing the powerful potential of pre-trained models in addressing CoSOD tasks. Extensive experiments demonstrate that our concise VCP outperforms 13 cutting-edge full fine-tuning models, achieving the new state of the art (with 6.8% improvement in F_m metrics on the most challenging CoCA dataset). Source code has been available at https://github.com/WJ-CV/VCP.