0.5\%>100\%: Bidirectional Reciprocal Learning for Referring Image Segmentation

📄 arXiv: 2609.24510v1 📥 PDF

作者: Xiaoqiang Lu, Licheng Jiao, Lingling Li, Yuting Yang, Long Sun, Wenping Ma, Xu Liu, Fang Liu

分类: cs.CV

发布日期: 2026-09-21

备注: 16 pages, 8 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出双向互惠学习以解决图像分割中的语言视觉对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代图像分割 双向学习 视觉-语言对齐 参数高效微调 跨模态交互 计算机视觉 自然语言处理

📋 核心要点

  1. 现有方法在视觉-语言对齐中面临计算开销大和灾难性遗忘等挑战。
  2. 本文提出双向互惠学习框架，通过互惠注意适配器和互惠门适配器实现跨模态信息流动。
  3. 在RefCOCO、RefCOCO+和RefCOCOg基准测试中，BRL方法表现优越，达到最新的性能标准。

📝 摘要（中文）

近年来，视觉基础模型在多种单模态视觉任务中表现出色。然而，将这些模型应用于指代图像分割时，通常需要通过全面微调实现精确的视觉-语言对齐，这会导致计算开销大且可能造成灾难性遗忘。现有的参数高效微调方法虽然能够以较低的训练成本实现安全的知识迁移，但主要在单一模态内独立操作，或仅关注从语言到视觉的单向指导，忽视了跨模态的互动和视觉反馈。为了解决这些问题，本文提出了一种新颖的双向互惠学习框架，促进了冻结基础模型中标记混合和通道混合层内的层次化双向信息流。实验结果表明，该方法在多个基准测试中超越了以往的指代图像分割方法，且参数更新量低于0.5%。

🔬 方法详解

问题定义：本文旨在解决指代图像分割中视觉与语言之间的对齐问题，现有方法往往需要全面微调，导致计算资源浪费和知识遗忘。

核心思路：提出双向互惠学习框架，利用互惠注意适配器和互惠门适配器实现视觉与语言之间的双向信息流动，以增强跨模态的互动和反馈。

技术框架：整体架构包括两个主要模块：互惠注意适配器（RAA）和互惠门适配器（RGA），分别在标记层和通道层进行信息交互和信号生成。

关键创新：最重要的创新在于实现了双向的信息流动，允许视觉和语言标记互相关注，从而提高了空间定位的精确度，与现有方法的单向指导形成鲜明对比。

关键设计：在参数设置上，BRL框架仅需更新少于0.5%的基础模型参数，采用特定的损失函数和网络结构以优化跨模态的交互效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RefCOCO、RefCOCO+和RefCOCOg基准测试中，BRL方法相较于以往的指代图像分割方法表现出色，达到了最新的性能标准，且参数更新量低于0.5%，显示出其高效性和优越性。

🎯 应用场景

该研究在图像分割、计算机视觉和自然语言处理等领域具有广泛的应用潜力。通过提高视觉与语言的对齐能力，BRL框架可用于智能助手、自动驾驶、图像检索等场景，推动多模态系统的发展。未来，该方法可能会影响更复杂的视觉-语言任务的研究与应用。

📄 摘要（原文）

Recent advances in vision foundation models (VFMs) have shown remarkable capabilities across diverse unimodal visual tasks. However, adapting VFMs to referring image segmentation (RIS) typically necessitates precise vision-language alignment via full fine-tuning, incurring substantial computational overhead and risking catastrophic forgetting. While existing parameter-efficient fine-tuning (PEFT) methods enable safe knowledge transfer with minimal training costs, they predominantly operate independently within individual modalities or focus exclusively on unidirectional guidance from language to vision, overlooking progressive cross-modal interaction and visual feedback for textual refinement. To address these limitations, we propose Bidirectional Reciprocal Learning (BRL), a novel adapter-based PEFT framework that facilitates hierarchical, bidirectional information flow within both token-mixing and channel-mixing layers of frozen foundation models. Specifically, BRL introduces two complementary lightweight modules. The Reciprocal Attention Adapter (RAA) performs cross-modal query-key exchanges at the token level, enabling visual and linguistic tokens to mutually attend to each other for fine-grained spatial grounding. The Reciprocal Gate Adapter (RGA) generates cross-modal gating signals at the channel level, allowing global semantic context from one modality to adaptively recalibrate channel activations of the other. Extensive experiments on RefCOCO, RefCOCO+, and RefCOCOg benchmarks demonstrate the superiority of BRL over prior RIS methods, achieving state-of-the-art performance while requiring less than 0.5% backbone parameter updates. Code and models will be released at https://github.com/xiaoqiang-lu/BRL.