DeCo: Efficient Decouple-to-Couple Learning for Multi-Task Visual Grounding

📄 arXiv: 2609.24409v1 📥 PDF

作者: Xiaoqiang Lu, Licheng Jiao, Long Sun, Yuting Yang, Xu Liu, Lingling Li, Wenping Ma, Fang Liu

分类: cs.CV

发布日期: 2026-09-21

备注: 34 pages,9 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出DeCo框架以解决多任务视觉定位中的特征冲突问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 视觉定位 语义解耦 先验耦合 多模态融合

📋 核心要点

  1. 现有方法通过共享表示来促进任务合作，但未能有效解决任务特征之间的冲突，导致性能下降。
  2. 本文提出DeCo框架，通过任务特定表示解耦和互补先验耦合，解决多任务视觉定位中的特征干扰问题。
  3. 在多个数据集上进行的实验表明，DeCo在自然和遥感基准测试中均取得了最先进的性能，展示了其强大的泛化能力。

📝 摘要（中文）

多任务视觉定位要求模型同时理解语言语义并进行准确的视觉定位和分割。尽管多模态大语言模型取得了一定成功，但将其有效适应于多个定位目标仍然具有挑战性。现有方法通常通过共享表示来强制任务合作，但忽视了任务导向特征之间的内在冲突。本文提出了DeCo，一个高效的解耦到耦合学习框架，通过任务特定表示解耦和互补先验耦合的两阶段范式来解决这一困境。我们首先提出了任务感知语义解耦（TSD），在显著的词级指导下将共享视觉线索路由到各个特征，从而减轻了定位与分割之间的表示干扰。此外，我们引入了混合先验耦合（HPC），将句子级语义先验与掩码导出的空间先验结合，以增强定位效果。DeCo在多个基准测试中表现出色，展示了其在多任务视觉定位中的强大泛化能力。

🔬 方法详解

问题定义：本文旨在解决多任务视觉定位中任务特征之间的冲突问题。现有方法通常依赖共享表示，导致任务间的干扰和性能下降。

核心思路：DeCo框架通过任务特定表示解耦和互补先验耦合的两阶段方法，旨在减少不同任务之间的特征干扰，从而提高模型的性能和泛化能力。

技术框架：DeCo的整体架构包括两个主要模块：任务感知语义解耦（TSD）和混合先验耦合（HPC）。TSD模块负责将共享视觉线索分配到各个任务特征，而HPC模块则结合句子级语义先验与掩码导出的空间先验。

关键创新：DeCo的核心创新在于引入了任务感知语义解耦和混合先验耦合，这与现有方法通过单一共享表示的方式本质上不同，能够有效减轻任务间的干扰。

关键设计：在设计中，DeCo使用了冻结的多模态编码器，减少了可训练参数的数量，同时通过任务特定的损失函数来优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RefCOCO/+, G-Ref, ReferIt等多个数据集上，DeCo框架实现了最先进的性能，显著超越了现有基线，提升幅度达到XX%。这一结果表明DeCo在多任务视觉定位中的有效性和强大能力。

🎯 应用场景

该研究的潜在应用场景包括智能监控、自动驾驶、机器人视觉等领域，能够帮助系统更准确地理解和定位视觉信息，从而提升人机交互和自动化水平。未来，DeCo框架有望在多模态学习和视觉理解任务中发挥更大作用。

📄 摘要（原文）

Multi-task visual grounding requires models to jointly understand linguistic semantics and perform accurate visual localization and segmentation. Despite the success of multimodal large language models, effectively adapting them to multiple grounding objectives remains challenging. Existing methods commonly enforce task cooperation through shared representations, while overlooking the intrinsic conflict between task-oriented feature interests. In this paper, we introduce $\textbf{DeCo}$, an efficient $\textbf{De}$couple-to-$\textbf{Co}$uple learning framework that resolves this dilemma through a two-stage paradigm: task-specific representation decoupling followed by complementary prior coupling. Specifically, we first propose Task-aware Semantic Decoupling (TSD) to route shared visual cues into individual features under salient word-level guidance, alleviating representation interference between localization and segmentation. Furthermore, we observe that segmentation naturally provides informative localization priors due to dense supervision. Based on this insight, we introduce Hybrid Prior Coupling (HPC), which integrates sentence-level semantic prior with mask-derived spatial prior for enhanced grounding. Built upon a frozen multimodal encoder, DeCo requires lightweight trainable parameters while achieving strong generalization across multiple grounding objectives. Extensive experiments on RefCOCO/+, G-Ref, ReferIt, Flickr, DIOR-RSVG, SARVG1.0, RRSIS-D, RIS-LAD, and RefDIOR demonstrate that DeCo achieves state-of-the-art performance on both natural and remote sensing benchmarks. The code and models are available at https://github.com/xiaoqiang-lu/DeCo.