LaMER: Language-Conditioned Multi-Expert Routing for Weakly Supervised Referring Expression Comprehension

📄 arXiv: 2610.26404v1 📥 PDF

作者: Yu Yu Chang, Tzu-Hsuan Weng, Youssef Mohamed Amin, Mohaned Ahmed Elsayed, Hung-Hsuan Chen, Min-Te Sun, Sherine Shawky

分类: cs.CV, cs.CL, cs.LG

发布日期: 2026-10-19

💡 一句话要点

提出LaMER以解决弱监督下的指称表达理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指称表达理解 弱监督学习 跨模态融合 专家编码器 多目标损失

📋 核心要点

  1. 现有方法在弱监督条件下面临视觉-语言语义差距和区域-文本对应关系推断困难的问题。
  2. 本文提出LaMER框架，通过语言条件的跨模态路由融合模块动态聚合多个专家编码器，适应性选择专家。
  3. 实验结果显示，LaMER在多个数据集上显著提升性能，超越现有基线，验证了方法的有效性。

📝 摘要（中文）

指称表达理解（REC）旨在定位自然语言表达所描述的图像区域，广泛应用于自主导航、人机交互和医学图像分析等领域。在弱监督条件下，REC面临视觉-语言语义差距和从粗糙图像级信号推断区域-文本对应关系的困难。此外，单一视觉编码器无法捕捉所有互补特性，而简单融合多个预训练编码器会导致异质且难以调和的表示。为此，本文提出了LaMER，一个动态聚合四个冻结专家编码器的弱监督REC框架，通过语言条件的跨模态路由融合模块，针对每个指称表达自适应选择专家，无需实例级边界框监督。通过结合对比、重建、对齐和负载平衡项的多目标损失训练的单元-文本匹配头，进一步稳定优化。LaMER在RefCOCO、RefCOCO+和RefCOCOg上分别达到了77.67%、62.81%和69.49%的Acc@IoU≥0.5，超越DViN和WeakMCN，提升幅度达到16.49和14.49个百分点，消融实验验证了每个组件的有效性。

🔬 方法详解

问题定义：本文解决的是在弱监督条件下的指称表达理解问题，现有方法难以有效处理视觉-语言之间的语义差距，且无法从粗糙的图像级信号中推断出准确的区域-文本对应关系。

核心思路：LaMER框架的核心思路是通过语言条件的跨模态路由融合模块，动态选择多个冻结的专家编码器，以适应不同的指称表达，从而提高理解的准确性和鲁棒性。

技术框架：LaMER的整体架构包括四个冻结的专家编码器和一个语言条件的跨模态路由融合模块，此外还包含一个单元-文本匹配头，后者通过多目标损失进行训练。

关键创新：LaMER的主要创新在于动态聚合多个专家编码器，而不是简单地融合它们，这种方法能够更好地捕捉不同的视觉特征，解决了现有方法在表示融合上的不足。

关键设计：在设计上，LaMER采用了多目标损失函数，结合对比损失、重建损失、对齐损失和负载平衡项，以稳定优化过程，并确保模型在不同任务上的表现。具体的网络结构和参数设置在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LaMER在RefCOCO、RefCOCO+和RefCOCOg数据集上分别取得了77.67%、62.81%和69.49%的Acc@IoU≥0.5，显著超越了DViN和WeakMCN，提升幅度分别达到16.49和14.49个百分点，验证了各个组件的有效性。

🎯 应用场景

该研究的潜在应用领域包括自主导航、智能人机交互和医学图像分析等。通过提高指称表达理解的准确性，LaMER能够在实际应用中提升系统的智能化水平，促进人机协作的效率与安全性。未来，该方法有望在更多复杂场景中得到应用，推动相关领域的发展。

📄 摘要（原文）

Referring Expression Comprehension (REC) localizes the image region described by a natural language expression, underpinning applications such as autonomous navigation, human-robot interaction, and medical image analysis. Under weak supervision, REC is challenged by the visual-linguistic semantic gap and the difficulty of inferring region-text correspondences from coarse image-level signals alone. Moreover, no single visual encoder captures all complementary properties---semantic alignment, fine-grained texture, and boundary awareness---while naively fusing multiple pretrained encoders yields heterogeneous, hard-to-reconcile representations. We propose LaMER, a weakly supervised REC framework that dynamically aggregates four frozen expert encoders through a language-conditioned Cross-Modal Routing Fusion module, adapting expert selection to each referring expression without instance-level bounding-box supervision. A Cell-Text Matching Head with Negative Anchor Augmentation, trained with a multi-objective loss combining contrastive, reconstruction, alignment, and load-balancing terms, further stabilizes optimization. LaMER achieves 77.67\%, 62.81\%, and 69.49\% Acc@IoU(\geq 0.5) on RefCOCO, RefCOCO+, and RefCOCOg, surpassing DViN and WeakMCN by up to 16.49 and 14.49 points, with ablations validating each component.