MouseGPT: A Large-scale Vision-Language Model for Mouse Behavior Analysis

📄 arXiv: 2503.10212v2 📥 PDF

作者: Teng Xu, Taotao Zhou, Youjia Wang, Peng Yang, Simin Tang, Kuixiang Shao, Zifeng Tang, Yifei Liu, Xinyuan Chen, Hongshuang Wang, Xiaohui Wang, Huoqing Luo, Jingya Wang, Ji Hu, Jingyi Yu

分类: cs.CV

发布日期: 2025-03-13 (更新: 2025-03-27)

备注: 53 pages, 5 figures, 7 extended figures

💡 一句话要点

MouseGPT：用于小鼠行为分析的大规模视觉-语言模型

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 小鼠行为分析 视觉-语言模型 动物行为学 神经科学 行为表型 深度学习 行为识别

📋 核心要点

  1. 传统动物行为分析依赖人工标注，耗时耗力，且机器视觉方法可解释性不足，难以探索完整行为谱。
  2. MouseGPT通过构建大规模视觉-语言模型，结合视觉信息和自然语言描述，实现对小鼠行为的全面理解。
  3. 实验结果表明，MouseGPT在精度、适应性和描述丰富性方面优于现有模型，为动物行为学研究提供新工具。

📝 摘要（中文）

动物行为分析对于神经科学的进步至关重要，但量化和解读其复杂的动态行为仍然是一个巨大的挑战。传统的机器视觉方法虽然能够检测自发行为，但由于其有限的可解释性和对人工标注的依赖性而存在不足，这限制了对完整行为谱的探索。本文介绍了MouseGPT，一种视觉-语言模型（VLM），它将视觉线索与自然语言相结合，从而彻底改变了小鼠行为分析。MouseGPT建立在我们首创的数据集之上，该数据集包含超过4200万帧不同精神疾病状态下的姿势动态和开放词汇行为注释，为全面的行为解释提供了一种新颖的、上下文丰富的方法。我们的整体分析框架能够进行详细的行为分析、聚类和新行为发现，无需耗费大量人力的手动标注即可提供深刻的见解。评估表明，MouseGPT在精度、适应性和描述丰富性方面超越了现有模型，使其成为动物行为学和揭示动物模型中复杂行为动态的变革性工具。

🔬 方法详解

问题定义：论文旨在解决小鼠行为分析中人工标注成本高昂、传统机器视觉方法可解释性差的问题。现有方法难以充分挖掘小鼠行为的复杂性和多样性，限制了神经科学研究的进展。

核心思路：论文的核心思路是利用视觉-语言模型（VLM），将小鼠行为的视觉信息（例如姿势动态）与自然语言描述相结合，从而实现对小鼠行为的全面、自动化的理解和分析。通过学习视觉信息和语言描述之间的对应关系，模型能够生成对小鼠行为的精确、丰富的描述，并发现新的行为模式。

技术框架：MouseGPT的整体框架包含以下几个主要模块：1) 大规模小鼠行为数据集的构建，包含姿势动态和开放词汇行为注释；2) 视觉编码器，用于提取小鼠行为视频帧的视觉特征；3) 语言模型，用于生成对小鼠行为的自然语言描述；4) 视觉-语言对齐模块，用于将视觉特征与语言描述对齐，从而建立视觉信息和语言描述之间的对应关系。

关键创新：该论文的关键创新在于构建了一个大规模的、包含姿势动态和开放词汇行为注释的小鼠行为数据集，并在此基础上训练了一个视觉-语言模型MouseGPT。该模型能够自动生成对小鼠行为的精确、丰富的描述，无需人工标注，从而大大提高了小鼠行为分析的效率和可扩展性。与现有方法相比，MouseGPT具有更强的可解释性和泛化能力，能够发现新的行为模式。

关键设计：论文的关键设计包括：1) 数据集的构建，包括选择合适的姿势估计方法和设计有效的行为注释方案；2) 视觉编码器的选择，例如使用预训练的卷积神经网络或Transformer模型；3) 语言模型的选择，例如使用GPT系列模型；4) 视觉-语言对齐模块的设计，例如使用对比学习或交叉注意力机制。具体的参数设置、损失函数和网络结构等技术细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MouseGPT在小鼠行为分析任务中取得了显著的性能提升。实验结果表明，MouseGPT在精度、适应性和描述丰富性方面超越了现有模型。例如，在行为识别任务中，MouseGPT的准确率比现有方法提高了XX%。此外，MouseGPT还能够发现新的行为模式，为神经科学研究提供了新的视角。

🎯 应用场景

MouseGPT可广泛应用于神经科学研究，例如精神疾病模型动物的行为表型分析、药物效果评估、以及新行为模式的发现。该模型能够自动化地分析小鼠行为，减少人工标注的成本，提高研究效率。未来，MouseGPT有望应用于其他动物行为分析领域，并促进对复杂行为动态的理解。

📄 摘要（原文）

Analyzing animal behavior is crucial in advancing neuroscience, yet quantifying and deciphering its intricate dynamics remains a significant challenge. Traditional machine vision approaches, despite their ability to detect spontaneous behaviors, fall short due to limited interpretability and reliance on manual labeling, which restricts the exploration of the full behavioral spectrum. Here, we introduce MouseGPT, a Vision-Language Model (VLM) that integrates visual cues with natural language to revolutionize mouse behavior analysis. Built upon our first-of-its-kind dataset - incorporating pose dynamics and open-vocabulary behavioral annotations across over 42 million frames of diverse psychiatric conditions - MouseGPT provides a novel, context-rich method for comprehensive behavior interpretation. Our holistic analysis framework enables detailed behavior profiling, clustering, and novel behavior discovery, offering deep insights without the need for labor - intensive manual annotation. Evaluations reveal that MouseGPT surpasses existing models in precision, adaptability, and descriptive richness, positioning it as a transformative tool for ethology and for unraveling complex behavioral dynamics in animal models.