Read My Ears! Horse Ear Movement Detection for Equine Affective State Assessment
作者: João Alves, Pia Haubro Andersen, Rikke Gade
分类: cs.CV
发布日期: 2025-05-06
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于深度学习和光流法的马耳运动检测方法，用于评估马的情感状态
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 马情感状态评估 耳朵运动检测 深度学习 光流法 视频分类 EquiFACS
📋 核心要点
- 马情感状态评估依赖人工标注面部动作单元，数据稀缺且成本高昂，阻碍了该领域的发展。
- 论文提出结合深度学习视频特征提取和循环神经网络，以及经典光流法，自动检测马的耳朵动作单元。
- 实验在公开马视频数据集上达到87.5%的耳朵运动分类准确率，验证了该方法在马情感评估中的潜力。
📝 摘要（中文）
马面部动作编码系统(EquiFACS)通过不同的动作单元(AUs)对马的面部运动进行系统注释。它是评估马情感状态的关键工具，通过识别与不适相关的细微面部表情。然而，马情感状态评估领域受到带注释数据稀缺的限制，因为手动标记面部AUs既耗时又昂贵。为了应对这一挑战，自动化注释系统对于利用现有数据集和改进情感状态检测工具至关重要。在这项工作中，我们研究了从马视频中检测和定位特定耳朵AU的不同方法。我们利用了过去在基于深度学习的视频特征提取以及用于视频分类任务的循环神经网络方面的工作，以及一种经典的基于光流的方法。我们在一个公共马视频数据集上实现了87.5%的耳朵运动存在分类准确率，证明了我们方法的潜力。我们讨论了开发这些系统的未来方向，旨在弥合自动化AU检测与马福利和兽医诊断中的实际应用之间的差距。我们的代码将在https://github.com/jmalves5/read-my-ears上公开。
🔬 方法详解
问题定义：论文旨在解决马情感状态评估中，由于人工标注面部动作单元（AUs）耗时耗力，导致数据稀缺的问题。现有方法难以有效利用现有视频数据，限制了马情感状态检测工具的发展。因此，需要一种自动化的耳朵AU检测方法，以降低标注成本并提高数据利用率。
核心思路：论文的核心思路是结合深度学习的视频特征提取能力和光流法对运动信息的敏感性，自动检测马的耳朵运动。通过深度学习模型提取视频中的视觉特征，并利用循环神经网络对时序信息进行建模，同时结合光流法捕捉耳朵的细微运动变化，从而提高检测的准确性。
技术框架：整体框架包含两个主要分支：基于深度学习的分支和基于光流的分支。基于深度学习的分支首先使用预训练的深度学习模型（具体模型未知）提取视频帧的特征，然后使用循环神经网络（RNN）对这些特征进行时序建模，最后通过分类器判断是否存在耳朵运动。基于光流的分支则计算视频帧之间的光流场，提取耳朵区域的光流特征，并将其输入分类器进行判断。最终，两个分支的结果可以进行融合，以提高整体性能。
关键创新：论文的关键创新在于结合了深度学习和光流法，充分利用了视频中的视觉信息和运动信息。深度学习模型能够学习到耳朵的形状、纹理等视觉特征，而光流法能够捕捉到耳朵的细微运动变化。这种结合使得模型能够更准确地检测耳朵运动。
关键设计：论文中关于深度学习模型的具体结构、训练参数、损失函数等细节信息未知。光流法方面，可能采用了诸如Horn-Schunck或Lucas-Kanade等经典算法，并针对马耳朵的运动特点进行了参数调整。分类器可能采用了支持向量机（SVM）或逻辑回归等常见模型。具体参数设置和网络结构细节需要在代码公开后才能进一步分析。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在公共马视频数据集上实现了87.5%的耳朵运动存在分类准确率。虽然没有明确提及对比基线，但该结果表明结合深度学习和光流法在马耳朵运动检测方面具有潜力。该研究为自动化马情感状态评估提供了一种新的思路。
🎯 应用场景
该研究成果可应用于马匹福利评估、兽医诊断等领域。通过自动检测马的耳朵运动，可以更客观、高效地评估马的情感状态，及时发现马匹的不适或疾病，从而改善马匹的饲养管理和医疗保健。未来，该技术有望推广到其他动物的情感状态评估中。
📄 摘要（原文）
The Equine Facial Action Coding System (EquiFACS) enables the systematic annotation of facial movements through distinct Action Units (AUs). It serves as a crucial tool for assessing affective states in horses by identifying subtle facial expressions associated with discomfort. However, the field of horse affective state assessment is constrained by the scarcity of annotated data, as manually labelling facial AUs is both time-consuming and costly. To address this challenge, automated annotation systems are essential for leveraging existing datasets and improving affective states detection tools. In this work, we study different methods for specific ear AU detection and localization from horse videos. We leverage past works on deep learning-based video feature extraction combined with recurrent neural networks for the video classification task, as well as a classic optical flow based approach. We achieve 87.5% classification accuracy of ear movement presence on a public horse video dataset, demonstrating the potential of our approach. We discuss future directions to develop these systems, with the aim of bridging the gap between automated AU detection and practical applications in equine welfare and veterinary diagnostics. Our code will be made publicly available at https://github.com/jmalves5/read-my-ears.