NEXT: Multi-Grained Mixture of Experts via Text-Modulation for Multi-Modal Object Re-Identification
作者: Shihao Li, Aihua Zheng, Andong Lu, Jin Tang, Jixin Ma
分类: cs.CV
发布日期: 2025-05-26 (更新: 2025-08-10)
💡 一句话要点
提出NEXT框架，通过文本调制的多粒度专家混合模型解决多模态物体ReID问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态重识别 文本调制 专家混合模型 多粒度特征 跨模态融合
📋 核心要点
- 现有ReID方法依赖隐式特征融合，难以应对真实场景中的复杂细粒度识别挑战。
- NEXT框架利用MLLM生成文本描述，解耦语义和结构特征，通过专家混合建模身份模式。
- 实验表明，NEXT在多个数据集上显著优于现有方法，验证了其有效性。
📝 摘要（中文）
多模态物体重识别(ReID)旨在跨异构模态获取精确的身份特征。现有方法依赖于隐式特征融合模块，难以建模真实世界中各种挑战下的细粒度识别模式。本文利用多模态大型语言模型(MLLM)的强大能力，将物体外观有效地转化为描述性文本。提出了一种基于属性置信度的可靠的文本生成流程，显著降低了MLLM的未知识别率，提高了生成文本的质量。此外，为了建模多样化的身份模式，提出了一种名为NEXT的新型ReID框架，即通过文本调制的多粒度专家混合模型。具体来说，将识别问题解耦为语义和结构分支，分别捕获细粒度的外观特征和粗粒度的结构特征。对于语义识别，首先提出了一种文本调制语义专家(TMSE)，它随机采样高质量的文本来调制专家，从而捕获语义特征并挖掘跨模态互补线索。其次，为了识别结构特征，提出了一种上下文共享结构专家(CSSE)，它专注于整体对象结构，并通过软路由机制保持身份结构一致性。最后，提出了一种多粒度特征聚合(MGFA)，它采用统一的融合策略，有效地将多粒度专家集成到最终的身份表示中。在四个公共数据集上的大量实验表明了该方法的有效性，并表明其显著优于现有的最先进方法。
🔬 方法详解
问题定义：多模态物体ReID旨在跨不同模态识别同一物体。现有方法主要依赖隐式特征融合，难以有效捕捉细粒度的识别模式，尤其是在复杂场景下，例如光照变化、遮挡等情况，导致识别精度下降。现有方法对多模态信息的利用不够充分，无法有效挖掘模态间的互补信息。
核心思路：NEXT框架的核心思路是将物体外观信息转化为文本描述，利用文本信息调制特征提取过程，从而更有效地捕捉细粒度的语义信息。同时，将识别问题分解为语义和结构两个分支，分别处理细粒度的外观特征和粗粒度的结构特征，并通过专家混合的方式融合不同粒度的特征表示。这种解耦和融合的策略旨在更全面地建模物体的身份信息，提高ReID的准确性和鲁棒性。
技术框架：NEXT框架包含以下几个主要模块：1) 基于属性置信度的文本生成流程，用于生成高质量的物体描述文本；2) 文本调制语义专家(TMSE)，用于提取细粒度的语义特征，并利用文本信息进行调制；3) 上下文共享结构专家(CSSE)，用于提取粗粒度的结构特征，并通过软路由机制保持结构一致性；4) 多粒度特征聚合(MGFA)，用于融合语义和结构特征，生成最终的身份表示。整体流程是，首先利用MLLM生成物体描述文本，然后分别通过TMSE和CSSE提取语义和结构特征，最后通过MGFA融合这些特征进行身份识别。
关键创新：NEXT框架的关键创新在于：1) 提出了一种基于属性置信度的文本生成流程，提高了生成文本的质量和可靠性；2) 提出了文本调制语义专家(TMSE)，利用文本信息调制特征提取过程，更有效地捕捉细粒度的语义信息；3) 提出了上下文共享结构专家(CSSE)，通过软路由机制保持结构一致性；4) 提出了多粒度特征聚合(MGFA)，有效地融合了不同粒度的特征表示。与现有方法相比，NEXT框架能够更全面地建模物体的身份信息，提高ReID的准确性和鲁棒性。
关键设计：在文本生成流程中，使用了属性置信度来过滤低质量的文本描述，提高了文本的可靠性。在TMSE中，随机采样高质量的文本来调制专家，增加了模型的鲁棒性。在CSSE中，使用了软路由机制来保持结构一致性，避免了结构信息的丢失。在MGFA中，使用了统一的融合策略，有效地集成了多粒度的特征表示。具体的损失函数和网络结构等技术细节在论文中有详细描述，这里不再赘述。
🖼️ 关键图片
📊 实验亮点
NEXT框架在四个公共数据集上进行了大量实验，结果表明，NEXT显著优于现有的最先进方法。具体的性能数据和对比基线在论文中有详细描述。实验结果验证了NEXT框架的有效性，表明其能够更全面地建模物体的身份信息，提高ReID的准确性和鲁棒性。例如，在XXX数据集上，Rank-1 准确率提升了X%。
🎯 应用场景
该研究成果可应用于智能安防、智能交通、智慧零售等领域。例如，在智能安防中，可以用于跨摄像头追踪特定目标；在智能交通中，可以用于车辆重识别，辅助交通管理；在智慧零售中，可以用于顾客行为分析，提升购物体验。该研究的未来影响在于，可以推动多模态信息融合技术的发展，提高物体识别的准确性和鲁棒性。
📄 摘要（原文）
Multi-modal object Re-Identification (ReID) aims to obtain accurate identity features across heterogeneous modalities. However, most existing methods rely on implicit feature fusion modules, making it difficult to model fine-grained recognition patterns under various challenges in real world. Benefiting from the powerful Multi-modal Large Language Models (MLLMs), the object appearances are effectively translated into descriptive captions. In this paper, we propose a reliable caption generation pipeline based on attribute confidence, which significantly reduces the unknown recognition rate of MLLMs and improves the quality of generated text. Additionally, to model diverse identity patterns, we propose a novel ReID framework, named NEXT, the Multi-grained Mixture of Experts via Text-Modulation for Multi-modal Object Re-Identification. Specifically, we decouple the recognition problem into semantic and structural branches to separately capture fine-grained appearance features and coarse-grained structure features. For semantic recognition, we first propose a Text-Modulated Semantic Experts (TMSE), which randomly samples high-quality captions to modulate experts capturing semantic features and mining inter-modality complementary cues. Second, to recognize structure features, we propose a Context-Shared Structure Experts (CSSE), which focuses on the holistic object structure and maintains identity structural consistency via a soft routing mechanism. Finally, we propose a Multi-Grained Features Aggregation (MGFA), which adopts a unified fusion strategy to effectively integrate multi-grained experts into the final identity representations. Extensive experiments on four public datasets demonstrate the effectiveness of our method and show that it significantly outperforms existing state-of-the-art methods.