Wild Motion Unleashed: Markerless 3D Kinematics and Force Estimation in Cheetahs
作者: Zico da Silva, Stacy Shield, Penny E. Hudson, Alan M. Wilson, Fred Nicolls, Amir Patel
分类: cs.CV
发布日期: 2023-12-10
💡 一句话要点
提出K-FTE方法，实现野生猎豹无标记3D运动学和力估计
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 动物运动分析 三维运动学估计 轨迹优化 野生动物研究 无标记运动捕捉
📋 核心要点
- 野生动物运动研究面临挑战，现有方法难以在不干扰动物的前提下获取完整运动数据。
- 提出运动学完整轨迹估计（K-FTE）方法，通过轨迹优化远程估计3D运动学和关节扭矩。
- 实验结果表明，K-FTE方法能有效重建猎豹3D运动学，并准确估计地面反作用力。
📝 摘要（中文）
研究野生动物的复杂运动力学极具挑战。猎豹（$ extit{Acinonyx jubatus}$）就是一个典型的例子：尽管人们对其无与伦比的速度和机动性非常感兴趣，但获得这些动物完整的全身运动数据仍然是一个未解决的问题。对于野生猎豹而言尤其如此，必须使用远程且不限制动物运动的方法。本文利用从野生猎豹获得的数据，提出了一种轨迹优化方法，用于远程估计研究对象的3D运动学和关节扭矩。我们将这种方法称为运动学完整轨迹估计（K-FTE）。我们在包含同步视频和力板数据的数据集上验证了该方法。我们能够重建3D运动学，平均重投影误差为17.69像素（使用鼻眼长度作为阈值，PCK为62.94%），并且估计产生的地面反作用力的平均均方根误差为171.3 N（约为步幅期间峰值力的17.16%），与力板数据相比。虽然关节扭矩无法直接针对地面实况数据进行验证，因为没有猎豹的此类数据，但估计的扭矩与先前在受控环境中对四足动物的研究一致。这些结果将使生物学家和机器人学家能够更深入地研究更自然环境中的动物运动。
🔬 方法详解
问题定义：现有方法难以在野生环境下，不干扰动物自然行为的前提下，准确获取其全身运动数据，尤其是在运动速度快、机动性强的动物（如猎豹）身上。这限制了对动物运动力学的深入研究。
核心思路：该论文的核心思路是通过轨迹优化，利用多视角视频数据，反演出猎豹的3D运动学信息和关节扭矩。核心在于建立一个合理的运动学模型，并设计合适的优化目标函数，使得估计的运动轨迹与观测到的视频数据尽可能一致，同时满足运动学约束。
技术框架：K-FTE方法的整体框架包括以下几个主要阶段：1) 数据采集：使用同步的多视角视频记录猎豹的运动过程。2) 关键点检测与跟踪：在视频中自动或手动标记猎豹的关键身体部位，并进行跟踪。3) 运动学模型构建：建立猎豹的运动学模型，包括骨骼结构、关节连接方式等。4) 轨迹优化：利用关键点跟踪结果和运动学模型，通过优化算法估计猎豹的3D运动轨迹和关节扭矩。优化目标通常包括重投影误差（估计的3D点投影到2D图像上的位置与实际观测位置的差异）和运动学约束（如关节角度限制）。
关键创新：该方法的主要创新在于将轨迹优化方法应用于野生动物的运动分析，实现了在非受控环境下对动物运动的远程、无标记估计。与传统的标记方法相比，K-FTE避免了对动物的干扰，使其能够展现更自然的运动行为。
关键设计：关键设计包括：1) 运动学模型：需要根据猎豹的生理结构进行精确建模。2) 优化目标函数：需要平衡重投影误差和运动学约束，避免过度拟合或不合理的运动轨迹。3) 优化算法：选择合适的优化算法（如非线性最小二乘法）以高效地求解优化问题。4) 正则化项：为了保证解的平滑性和物理合理性，可以加入正则化项，例如关节扭矩的平滑性约束。
📊 实验亮点
实验结果表明，K-FTE方法能够以平均17.69像素的重投影误差重建猎豹的3D运动学，使用鼻眼长度作为阈值，PCK为62.94%。估计的地面反作用力的平均均方根误差为171.3 N，约为步幅期间峰值力的17.16%，与力板数据吻合较好。虽然关节扭矩无法直接验证，但估计结果与先前四足动物研究一致，验证了该方法的有效性。
🎯 应用场景
该研究成果可应用于动物行为学、生物力学、机器人学等领域。在动物行为学中，可用于研究野生动物的运动策略、能量消耗等。在生物力学中，可用于分析动物的肌肉骨骼系统功能。在机器人学中，可为四足机器人的运动控制提供灵感，例如设计更高效、更灵活的机器人运动方式。未来，该技术有望扩展到其他野生动物的研究中，帮助人们更好地了解动物的运动能力和适应性。
📄 摘要（原文）
The complex dynamics of animal manoeuvrability in the wild is extremely challenging to study. The cheetah ($\textit{Acinonyx jubatus}$) is a perfect example: despite great interest in its unmatched speed and manoeuvrability, obtaining complete whole-body motion data from these animals remains an unsolved problem. This is especially difficult in wild cheetahs, where it is essential that the methods used are remote and do not constrain the animal's motion. In this work, we use data obtained from cheetahs in the wild to present a trajectory optimisation approach for estimating the 3D kinematics and joint torques of subjects remotely. We call this approach kinetic full trajectory estimation (K-FTE). We validate the method on a dataset comprising synchronised video and force plate data. We are able to reconstruct the 3D kinematics with an average reprojection error of 17.69 pixels (62.94 $\%$ PCK using the nose-to-eye(s) length segment as a threshold), while the estimates produce an average root-mean-square error of 171.3 N ($\approx$ 17.16 $\%$ of peak force during stride) for the estimated ground reaction force when compared against the force plate data. While the joint torques cannot be directly validated against ground truth data, as no such data is available for cheetahs, the estimated torques agree with previous studies of quadrupeds in controlled settings. These results will enable deeper insight into the study of animal locomotion in a more natural environment for both biologists and roboticists.