Mouse Lockbox Dataset: Behavior Recognition for Mice Solving Lockboxes
作者: Patrik Reiske, Marcus N. Boon, Niek Andresen, Sole Traverso, Katharina Hohlbaum, Lars Lewejohann, Christa Thöne-Reineke, Olaf Hellwich, Henning Sprekeler
分类: cs.CV
发布日期: 2025-05-21 (更新: 2025-06-17)
备注: Accepted and published (poster) at the CV4Animals: Computer Vision for Animal Behavior Tracking and Modeling workshop, in conjunction with Computer Vision and Pattern Recognition (CVPR) 2025
💡 一句话要点
发布小鼠解谜行为数据集，助力计算神经科学中行为识别研究
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 动物行为识别 行为分析 数据集 机器学习 计算机视觉
📋 核心要点
- 现有动物行为分析方法依赖大量人工标注，效率低下，且缺乏针对复杂行为的数据集。
- 本研究构建了小鼠解决锁盒谜题的大规模视频数据集，并提供人工标注作为基准。
- 论文展示了基于姿势跟踪的动作分类框架，揭示了自动标注细粒度行为的挑战。
📝 摘要（中文）
本研究发布了一个关于小鼠解决复杂机械谜题（即锁盒）的视频数据集，旨在推动机器学习和计算机视觉方法在动物行为研究中的应用。该数据集包含超过110小时的小鼠游戏视频，从三个不同角度记录了它们的行为。为了评估帧级别动作分类方法，我们提供了对两只不同小鼠的所有视频的人工标注，约占数据集的13%。我们基于关键点（姿势）跟踪的动作分类框架展示了自动标注细粒度行为（如物体操作）的挑战。该数据集公开于https://doi.org/10.14279/depositonce-23850，希望能够加速计算神经科学领域中自动动作和行为分类的发展。
🔬 方法详解
问题定义：现有动物行为分析方法，特别是针对小鼠的研究，面临着数据集的限制。已有的数据集通常侧重于简单或社交行为，缺乏针对复杂操作行为的数据。这使得利用机器学习和计算机视觉方法自动分析和理解小鼠的复杂行为变得困难。人工标注耗时耗力，难以处理大规模视频数据。
核心思路：本研究的核心思路是构建一个包含小鼠解决复杂机械谜题（锁盒）行为的大规模视频数据集，并提供人工标注作为基准。通过提供高质量的数据集，旨在促进计算神经科学领域中自动动作和行为分类方法的发展。数据集的多视角记录和小鼠行为的复杂性，为算法开发提供了挑战和机会。
技术框架：该研究主要贡献在于数据集的构建和标注。数据集包含超过110小时的小鼠游戏视频，从三个不同角度记录。研究者对部分视频（约13%）进行了人工标注，标注了小鼠的各种动作。此外，论文还提出了一个基于关键点（姿势）跟踪的动作分类框架，用于展示自动标注细粒度行为的挑战。该框架可以作为未来研究的起点。
关键创新：该研究的关键创新在于构建了一个新的、大规模的、针对小鼠复杂操作行为的视频数据集。与现有数据集相比，该数据集包含了更丰富的行为模式，更接近自然状态下小鼠的行为。此外，人工标注的提供为算法开发提供了可靠的基准。
关键设计：数据集包含来自三个不同视角的视频，这有助于算法学习到更鲁棒的特征。人工标注涵盖了小鼠的各种动作，包括抓取、推动、拉动等。基于关键点跟踪的动作分类框架使用了常见的姿势估计方法，并将其应用于动作分类任务。具体的参数设置、损失函数和网络结构等技术细节在论文中可能没有详细描述，需要参考相关文献。
🖼️ 关键图片
📊 实验亮点
该研究构建了一个包含超过110小时的小鼠解谜行为视频数据集，并人工标注了13%的数据。研究者展示了基于姿势跟踪的动作分类框架，并指出了自动标注细粒度行为的挑战。该数据集的发布为计算神经科学领域的研究提供了宝贵的资源，有望推动相关算法的发展。
🎯 应用场景
该研究成果可应用于计算神经科学、动物行为学等领域。通过训练机器学习模型，可以自动分析小鼠的行为模式，从而研究神经机制、药物效果等。该数据集也可用于开发更智能的动物行为监测系统，提高实验效率和数据质量。未来，该方法有望推广到其他动物的行为研究中。
📄 摘要（原文）
Machine learning and computer vision methods have a major impact on the study of natural animal behavior, as they enable the (semi-)automatic analysis of vast amounts of video data. Mice are the standard mammalian model system in most research fields, but the datasets available today to refine such methods focus either on simple or social behaviors. In this work, we present a video dataset of individual mice solving complex mechanical puzzles, so-called lockboxes. The more than 110 hours of total playtime show their behavior recorded from three different perspectives. As a benchmark for frame-level action classification methods, we provide human-annotated labels for all videos of two different mice, that equal 13% of our dataset. Our keypoint (pose) tracking-based action classification framework illustrates the challenges of automated labeling of fine-grained behaviors, such as the manipulation of objects. We hope that our work will help accelerate the advancement of automated action and behavior classification in the computational neuroscience community. Our dataset is publicly available at https://doi.org/10.14279/depositonce-23850