一种动物头部姿态估计方法及系统技术方案

一种动物头部姿态估计方法及系统，方法包括：对动物图片进行目标检测处理，标记出动物图片上动物头部的第一检测框；根据第一检测框标记出动物头部的第二检测框，并记录第二检测框位置坐标，其中，第二检测框包含动物的整个头部；在第二检测框限定范围内，对动物头部进行特征提取，得到动物头部对应的多个关键点位置坐标；根据第二检测框位置坐标及多个关键点位置坐标，得到动物头部的姿态。该方法及系统在头部区域而不是整张图片上做姿态估计，可以有效的减少计算量和输入信息冗余，提高了斑马鱼头部姿态估计的准确率和速度。

A method and system for estimating head posture of animals

【技术实现步骤摘要】
一种动物头部姿态估计方法及系统
本专利技术涉及图像处理领域，尤其涉及一种动物头部姿态估计方法及系统。
技术介绍
在动物自由行为下控制和记录全脑神经元的活动，对解析动物行为和脑活动的对应关系有着重要意义。比如斑马鱼，其全基因组与人类基因组具有87％的相似度，常被用来探究神经元群和行为之间的关系。为了实现动物(斑马鱼)自由行为下进行光遗传实验，需要对其头部图像进行姿态估计，实现对动物头部的量化。目前对于斑马鱼头部的量化方法主要有基于模板匹配的方法、基于HOG特征的方法和基于深度学习的方法。基于模板匹配方法主要思想是设计区域模板去定位特定的区域，先设置模板匹配所需要的左眼、右眼、中心模板图像，再设置合理阈值，对图像进行二值化，最后根据设置的模板在ROI区域内跟踪目标，达到量化的目的。该类算法对于模板的设置要求很高，不具有通用性，对环境和噪声特别敏感，鲁棒性，灵活性和稳定性较差。基于HOG特征的方法主要是根据头部特点及其成像特征，设计一个头部特征描述，然后结合全局匹配算法，不同于其他基于模板匹配算法，其通过快速算法提取候选点，接着做过滤处理，因此能快速实现对斑马鱼头部的追踪。该方法属于人工设计特征的过程，做的是对底层特征的统计，仅能对有效地表达边缘等特征，无法表达高层语义信息的特征。基于深度学习的方法目前有DeepLabCut，DeepLabCut是通过对用户自定义的动物身体部位做姿态估计，从而对动物行为进行量化。DeepLabCut采用ResNet作为基架，提取高层语义特征后，再对特征进行反卷积，得到热力图和偏移量，结合热力图和偏移量对关键点位置进行预测。但其采用整张图像作为输入，导致整个流程计算冗余和信息冗余，引起速度和准确度的瓶颈。
技术实现思路
(一)要解决的技术问题针对于现有的技术问题，本专利技术提出一种动物头部姿态估计方法及系统，用于至少部分解决上述技术问题。(二)技术方案本专利技术一方面提供一种动物头部姿态估计方法，包括：S1，对动物图片进行目标检测处理，标记出动物图片上动物头部的第一检测框；S2，根据第一检测框标记出动物头部的第二检测框，并记录第二检测框位置坐标，其中，第二检测框包含动物的整个头部；S3，在第二检测框限定范围内，对动物头部进行特征提取，得到动物头部对应的多个关键点位置坐标；S4，根据第二检测框位置坐标及多个关键点位置坐标，得到动物头部的姿态。可选地，标记出动物图片上动物头部的第一检测框包括：记录第一检测框的两对角点的坐标、长度、宽度及包含动物头部的置信度。可选地，根据第一检测框标记出动物头部的第二检测框包括：将标记有第一检测框的动物图片映射回原动物图片，提取第一检测框对应区域，将第一检测框对应区域输入回归优化神经网络，得到使第一检测框包含动物的整个头部时所需的偏移量；根据偏移量及第一将检测框的两对角点的坐标、长度、宽度，计算第二检测框的两对角点的坐标、长度、宽度；根据第二检测框的两对角点的坐标、长度、宽度，在动物图片上标记出动物头部的第二检测框。可选地，将动物图片输入Micro-YOLO神经网络进行目标检测处理，其中，Micro-YOLO网络至少包括卷积层。可选地，在第二检测框限定范围内，对动物头部进行特征提取包括：将标记有第二检测框的动物图片映射回原动物图片，提取第二检测框对应区域，将第二检测框对应区域输入沙漏神经网络，对动物头部进行特征提取，其中，沙漏神经网络至少包括卷积层及池化层。可选地，计算第二检测框的两对角点的坐标、长度、宽度的公式如下：xc＝(x1+x2)/2，yc＝(y1+y2)/2bw＝x2-x1，bh＝y2-y1xc′＝xc+tx·bw，yc′＝yc+yy·bh其中，(x1，y1)和(x2，y2)为第一检测框的两对角坐标，(xc，yc)为第一检测框的中心坐标，bw为第一检测框的长度，bh为第一检测框的宽度，(xc′，yc′)为第二检测框的中心坐标，bw′为第二检测框的长度，bh′为第二检测框的宽度，(tx，ty，tw，th)为偏移量。可选地，将第二检测框对应区域输入沙漏神经网络，对动物头部进行特征提取包括：对第二检测框对应区域进行下采样，得到动物头部对应的第一特征图；对第一特征图进行上采样，得到第二特征图；通过跳跃连接方式对第二特征图进行融合，得到动物头部对应的热力点图；取热力点图中各热力点的最大激活值位置坐标，得到动物头部对应的多个关键点位置坐标。可选地，上采样采用双线性插值方法。本专利技术另一方面提供一种动物头部姿态估计系统，包括：第一处理模块，用于对动物图片进行目标检测处理，标记出动物图片上动物头部的第一检测框；第二处理模块，用于根据第一检测框标记出动物头部的第二检测框，并记录第二检测框位置坐标，其中，第二检测框包含动物的整个头部；特征提取模块，用于第二检测框限定范围内，对动物头部进行特征提取，得到动物头部对应的多个关键点位置坐标；计算模块，用于根据第二检测框位置坐标及多个关键点位置坐标，得到动物头部的姿态。可选地，第一处理模块采用Micro-YOLO神经网络对动物图片进行目标检测处理；第二处理模块采用回归优化神经网络根据第一检测框标记出动物头部的第二检测框；特征提取模块采用沙漏神经网络对动物头部进行特征提取。(三)有益效果本专利技术提出一种动物头部姿态估计方法及系统，首先检测出斑马鱼头部区域，然后在头部区域而不是整张图片上做姿态估计，可以有效的减少计算量和输入信息冗余，提高了斑马鱼头部姿态估计的准确率和速度。附图说明图1示意性示出了本专利技术实施例提供的动物头部姿态估计方法的流程图。图2示意性示出了本专利技术实施例斑马鱼头部标记的检测框示意图。图3示意性示出了本专利技术实施例提供的FastRegressNet网络架构图。图4示意性示出了本专利技术实施例提供的TinyHourglass的网络架构图图5示意性示出了本专利技术实施例提供的动物头部姿态估计系统框图。图6示意性示出了采用本专利技术实施例动物头部姿态估计方法及系统对斑马鱼头部进行姿态估计及量化的结果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。请参见图1，图1示意性示出了本专利技术实施例提供的动物头部姿态估计方法的流程图，下面以斑马鱼为例，详细介绍。如图1所示，该方法包括：S1，对动物图片进行目标检测处理，标记出动物图片上动物头部的第一检测框。操作S1的目的是快速得到斑马鱼头部区域，该斑马鱼头部区域不是特别精准，很可能未将斑马鱼的头部完全包含。使用的方法采用一个一阶检测神经网络对一整张斑马鱼图片进行目标检测处理。本实施例采用的是Micro-YOLO神经网络，该Micro-YOLO网络至少包括卷积层，具体检测神经网络类型本专利技术不加以限制。具体地，将斑马图片输入Micro-YOLO神经网络，经过依次前向传播本文档来自技高网...

【技术保护点】
1.一种动物头部姿态估计方法，其特征在于，包括：/nS1，对动物图片进行目标检测处理，标记出所述动物图片上动物头部的第一检测框；/nS2，根据第一检测框标记出动物头部的第二检测框，并记录所述第二检测框位置坐标，其中，所述第二检测框包含动物的整个头部；/nS3，在所述第二检测框限定范围内，对动物头部进行特征提取，得到动物头部对应的多个关键点位置坐标；/nS4，根据所述第二检测框位置坐标及多个关键点位置坐标，得到所述动物头部的姿态。/n

【技术特征摘要】
1.一种动物头部姿态估计方法，其特征在于，包括：
S1，对动物图片进行目标检测处理，标记出所述动物图片上动物头部的第一检测框；
S2，根据第一检测框标记出动物头部的第二检测框，并记录所述第二检测框位置坐标，其中，所述第二检测框包含动物的整个头部；
S3，在所述第二检测框限定范围内，对动物头部进行特征提取，得到动物头部对应的多个关键点位置坐标；
S4，根据所述第二检测框位置坐标及多个关键点位置坐标，得到所述动物头部的姿态。


2.根据权利要求1所述的动物头部姿态估计方法，其特征在于，所述标记出所述动物图片上动物头部的第一检测框包括：
记录所述第一检测框的两对角点的坐标、长度、宽度及包含动物头部的置信度。


3.根据权利要求2所述的动物头部姿态估计方法，其特征在于，所述根据第一检测框标记出动物头部的第二检测框包括：
将标记有第一检测框的动物图片映射回原动物图片，提取第一检测框对应区域，将第一检测框对应区域输入回归优化神经网络，得到使所述第一检测框包含动物的整个头部时所需的偏移量；
根据所述偏移量及所述第一将检测框的两对角点的坐标、长度、宽度，计算所述第二检测框的两对角点的坐标、长度、宽度；
根据所述第二检测框的两对角点的坐标、长度、宽度，在动物图片上标记出动物头部的第二检测框。


4.根据权利要求1所述的动物头部姿态估计方法，其特征在于，将所述动物图片输入Micro-YOLO神经网络进行目标检测处理，其中，所述Micro-YOLO网络至少包括卷积层。


5.根据权利要求1所述的动物头部姿态估计方法，其特征在于，所述在所述第二检测框限定范围内，对动物头部进行特征提取包括：
将标记有第二检测框的动物图片映射回原动物图片，提取第二检测框对应区域，将第二检测框对应区域输入沙漏神经网络，对动物头部进行特征提取，其中，所述沙漏神经网络至少包括卷积层及池化层。


6.根据权利要求3所述的动物头部姿态估计方法，其特征在于，所述计算所述第二检测框的两对角点的坐标、长度、宽度的公式如下：
xc＝(x1+...

【专利技术属性】
技术研发人员：黄章进，汪方军，贺翔翔，邹露，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34