NICE: Improving Panoptic Narrative Detection and Segmentation with Cascading Collaborative Learning

📄 arXiv: 2310.10975v2 📥 PDF

作者: Haowei Wang, Jiayi Ji, Tianyu Guo, Yilong Yang, Yiyi Zhou, Xiaoshuai Sun, Rongrong Ji

分类: cs.CV

发布日期: 2023-10-17 (更新: 2023-10-23)

备注: 18 pages. 9 figures, 9 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出NICE框架以解决全景叙事检测与分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全景叙事检测 全景分割 协同学习 计算机视觉 目标检测 深度学习

📋 核心要点

  1. 现有的视觉定位任务在处理全景叙事检测和分割时存在预测冲突，难以有效对齐多对多的关系。
  2. 本文提出的NICE框架通过引入CGA和BDL模块，利用掩膜重心实现PND和PNS的协同学习，提升了任务间的互补性。
  3. 实验结果显示，NICE在PND和PNS任务上分别比现有最优方法提升了4.1%和2.9%，验证了其有效性。

📝 摘要（中文）

全景叙事检测（PND）和分割（PNS）是根据长叙述描述识别和定位图像中多个目标的挑战性任务。本文提出了一种统一有效的框架NICE，能够联合学习这两个全景叙事识别任务。现有的视觉定位任务采用双分支范式，但直接应用于PND和PNS可能导致预测冲突。为此，我们引入了基于掩膜重心的两个级联模块：坐标引导聚合（CGA）和重心驱动定位（BDL），分别负责分割和检测。通过将PNS和PND串联，利用分割的重心作为锚点，我们的方法自然对齐了这两个任务，并使其相互补充以提高性能。实验结果表明，NICE在PND和PNS上分别超越现有方法4.1%和2.9%，验证了我们提出的协同学习策略的有效性。

🔬 方法详解

问题定义：本文旨在解决全景叙事检测（PND）和分割（PNS）任务中由于多对多对齐关系导致的预测冲突问题。现有方法采用双分支结构，难以有效处理这两个任务的内在联系。

核心思路：我们提出的NICE框架通过引入坐标引导聚合（CGA）和重心驱动定位（BDL）模块，利用掩膜的重心作为锚点，将PND和PNS任务串联起来，从而实现任务间的自然对齐和互补。

技术框架：NICE框架包括两个主要模块：CGA负责为检测提供重心参考，减少BDL对候选框数量的依赖；BDL则利用其优秀的实例区分能力，提升CGA的分割性能。

关键创新：NICE的核心创新在于通过重心驱动的级联学习策略，有效解决了PND和PNS任务之间的对齐问题，显著提升了任务的整体性能。

关键设计：在设计上，CGA和BDL模块的参数设置经过精心调整，以优化任务间的协同效果。此外，损失函数的设计也考虑了任务间的互补性，确保了模型的有效训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NICE框架在全景叙事检测（PND）和分割（PNS）任务上分别实现了4.1%和2.9%的性能提升，超越了所有现有方法，验证了其协同学习策略的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等场景，能够提升计算机视觉系统在复杂环境下的目标识别和定位能力。未来，该框架有望推动多模态学习和人机交互的进一步发展。

📄 摘要（原文）

Panoptic Narrative Detection (PND) and Segmentation (PNS) are two challenging tasks that involve identifying and locating multiple targets in an image according to a long narrative description. In this paper, we propose a unified and effective framework called NICE that can jointly learn these two panoptic narrative recognition tasks. Existing visual grounding tasks use a two-branch paradigm, but applying this directly to PND and PNS can result in prediction conflict due to their intrinsic many-to-many alignment property. To address this, we introduce two cascading modules based on the barycenter of the mask, which are Coordinate Guided Aggregation (CGA) and Barycenter Driven Localization (BDL), responsible for segmentation and detection, respectively. By linking PNS and PND in series with the barycenter of segmentation as the anchor, our approach naturally aligns the two tasks and allows them to complement each other for improved performance. Specifically, CGA provides the barycenter as a reference for detection, reducing BDL's reliance on a large number of candidate boxes. BDL leverages its excellent properties to distinguish different instances, which improves the performance of CGA for segmentation. Extensive experiments demonstrate that NICE surpasses all existing methods by a large margin, achieving 4.1% for PND and 2.9% for PNS over the state-of-the-art. These results validate the effectiveness of our proposed collaborative learning strategy. The project of this work is made publicly available at https://github.com/Mr-Neko/NICE.