Human-centered Interactive Learning via MLLMs for Text-to-Image Person Re-identification

📄 arXiv: 2506.11036v1 📥 PDF

作者: Yang Qin, Chao Chen, Zhihang Fu, Dezhong Peng, Xi Peng, Peng Hu

分类: cs.LG, cs.MM

发布日期: 2025-05-21

💡 一句话要点

提出基于MLLM的人机交互式学习框架ICL，提升文本到图像行人重识别性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到图像行人重识别 多模态大语言模型 人机交互 视觉问答 数据增强 跨模态学习 信息检索

📋 核心要点

  1. 现有文本到图像行人重识别方法在区分具有挑战性的候选图像时存在困难，受限于网络架构和数据质量。
  2. 提出交互式跨模态学习框架ICL，利用人机交互和多模态大语言模型，增强文本查询的区分能力。
  3. 在四个TIReID基准数据集上进行了大量实验，结果表明该方法显著提升了性能，效果显著。

📝 摘要（中文）

本文提出了一种交互式跨模态学习框架(ICL)，旨在通过人机交互利用外部多模态知识来增强文本查询的可区分性，从而解决文本到图像行人重识别(TIReID)中由于网络架构和数据质量等内在限制导致的候选图像区分困难问题。ICL框架包含一个即插即用的测试时人机交互(THI)模块，该模块执行以人为特征为中心的视觉问答，促进与多模态大型语言模型(MLLM)的多轮交互，以使查询意图与潜在目标图像对齐。THI基于MLLM的响应细化用户查询，从而缩小与最佳匹配图像的差距，提高排序准确率。此外，为了解决低质量训练文本的限制，引入了一种基于信息丰富和多样性增强的重组数据增强(RDA)策略，通过丰富、分解和重组人物描述来增强查询的可区分性。在CUHK-PEDES、ICFG-PEDES、RSTPReid和UFine6926四个TIReID基准数据集上的大量实验表明，该方法取得了显著的性能提升。

🔬 方法详解

问题定义：文本到图像行人重识别(TIReID)旨在通过文本描述检索行人图像。现有方法受限于网络架构和训练数据质量，难以区分相似的行人图像，尤其是在文本描述不够精确或图像质量不高的情况下。现有方法缺乏利用外部知识进行辅助推理的能力，导致检索精度不高。

核心思路：利用多模态大语言模型(MLLM)的强大知识库和推理能力，通过人机交互的方式，逐步细化文本查询，使其更准确地描述目标行人。通过视觉问答的方式，让MLLM理解图像内容，并根据图像内容反过来指导文本查询的优化，从而缩小文本查询与目标图像之间的语义鸿沟。

技术框架：ICL框架包含两个主要模块：测试时人机交互(THI)模块和重组数据增强(RDA)策略。THI模块是一个即插即用的模块，在测试阶段与MLLM进行多轮交互，根据MLLM的视觉问答结果，逐步优化文本查询。RDA策略则是在训练阶段，通过信息丰富、分解和重组等方式，生成更多样化和高质量的文本描述，从而提升模型的泛化能力。

关键创新：该方法的核心创新在于引入了人机交互的闭环反馈机制，利用MLLM的知识和推理能力，动态地优化文本查询。与传统的单向文本到图像检索方法不同，该方法能够根据图像内容反过来指导文本查询的优化，从而更准确地表达用户意图。RDA策略也是一个创新点，它通过数据增强的方式，提升了训练数据的质量和多样性。

关键设计：THI模块的关键设计在于如何有效地利用MLLM的视觉问答结果来优化文本查询。具体来说，THI模块会根据MLLM的回答，提取关键信息，并将其融入到原始文本查询中。RDA策略的关键设计在于如何生成多样化和高质量的文本描述。具体来说，RDA策略会采用信息丰富、分解和重组等多种方式，生成不同的文本描述，从而提升模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在CUHK-PEDES、ICFG-PEDES、RSTPReid和UFine6926四个TIReID基准数据集上进行了大量实验，取得了显著的性能提升。例如，在CUHK-PEDES数据集上，该方法的Rank-1准确率提升了超过10个百分点，证明了该方法的有效性。实验结果表明，人机交互和数据增强策略都对性能提升起到了重要作用。

🎯 应用场景

该研究成果可应用于智能安防、智慧城市等领域，例如在监控视频中通过文本描述快速检索目标人物，或者在电商平台中通过文本描述搜索特定款式的服装。该方法还可以扩展到其他跨模态检索任务中，例如图像到文本的检索，或者视频到文本的检索。未来，可以进一步研究如何利用更先进的MLLM模型，以及如何设计更有效的人机交互策略，从而进一步提升检索精度。

📄 摘要（原文）

Despite remarkable advancements in text-to-image person re-identification (TIReID) facilitated by the breakthrough of cross-modal embedding models, existing methods often struggle to distinguish challenging candidate images due to intrinsic limitations, such as network architecture and data quality. To address these issues, we propose an Interactive Cross-modal Learning framework (ICL), which leverages human-centered interaction to enhance the discriminability of text queries through external multimodal knowledge. To achieve this, we propose a plug-and-play Test-time Humane-centered Interaction (THI) module, which performs visual question answering focused on human characteristics, facilitating multi-round interactions with a multimodal large language model (MLLM) to align query intent with latent target images. Specifically, THI refines user queries based on the MLLM responses to reduce the gap to the best-matching images, thereby boosting ranking accuracy. Additionally, to address the limitation of low-quality training texts, we introduce a novel Reorganization Data Augmentation (RDA) strategy based on information enrichment and diversity enhancement to enhance query discriminability by enriching, decomposing, and reorganizing person descriptions. Extensive experiments on four TIReID benchmarks, i.e., CUHK-PEDES, ICFG-PEDES, RSTPReid, and UFine6926, demonstrate that our method achieves remarkable performance with substantial improvement.