一种基于Faster R-CNN和HMM的哺乳母猪姿态转换识别方法技术

本发明专利技术公开了一种基于Faster R‑CNN和HMM的哺乳母猪姿态转换识别方法，步骤为：1.深度图像质量增强；2.用改进Faster R‑CNN识别母猪姿态，以每帧概率最大的姿态作为姿态序列；并将概率最大的前5个检测框作为候选区域；3.用长度为5的中值滤波修正姿态序列分类错误；用视频段姿态转换次数检测疑似转换片段；在疑似转换片段中，用维特比算法根据候选区域构建母猪定位管道；4.在定位管道中，用最大类间方差法分割各帧母猪，计算母猪身体各部分高度，形成高度序列；5.将高度序列输入HMM模型，将疑似转换片段分为姿态转换与未转换片段；对单一姿态片段和姿态转换片段分类，获得识别结果。本发明专利技术能在光线变化及夜间场景下，自动母猪姿态转换识别，为高危行为识别打下基础。

A Recognition Method of Suckling Sow's Posture Conversion Based on Faster R-CNN and HMM

【技术实现步骤摘要】
一种基于FasterR-CNN和HMM的哺乳母猪姿态转换识别方法
本专利技术涉及视频识别
，特别涉及一种基于FasterR-CNN和HMM的哺乳母猪姿态转换识别方法。
技术介绍
在养猪场集中饲养环境下，母猪的母性行为和仔猪成活率密切相关，而母性行为的好坏主要体现在姿态转换上。通过人工眼睛直接观察或视频监控观察母猪的姿态转换行为具有强主观性，且耗时费力。母猪姿态转换行为的自动识别可对其母性行为特质和规律提供基础研究信息，并防止仔猪踩压死亡，提高仔猪生存率，降低猪场管理的人工成本，对提高生猪养殖水平具有重大意义。传感器技术已被用于监测母猪姿态或姿态转换，如公开号CN105850773A的专利公开一种基于微惯性传感器的生猪姿态监测装置及方法。采用三轴磁力计传感器HMC5883、整合三轴加速度传感器和三轴陀螺仪的6轴微惯性传感器MPU-6050获取生猪的姿态信息和行为信息。公开号CN106326919A的专利公开一种基于BP神经网络的生猪行为分类方法，通过MPU-6050传感器实时采集生猪加速度、角速度和姿态角信息作为输入，根据预先建立的BP神经网络模型识别生猪站、走、卧、躺四种行为方式。为克服母猪应激、传感器脱落或损坏等影响，研究者开始采用计算机视觉获取母猪姿态信息。如公开号CN107844797A的专利公开一种基于深度图像的哺乳母猪姿态自动识别的方法，采用DPM算法获得母猪的目标区域，将目标区域结果输入到母猪姿态识别深度卷积神经网络中，对母猪姿态进行识别。公开号CN108830144A的专利公开一种基于改进FasterR-CNN的哺乳母猪姿态识别方法，通过引入残差结构和CenterLoss监督信号，模型精度和训练速度，最终实现对哺乳母猪站立、坐立、俯卧、腹卧和侧卧五类姿态的有效识别。而母猪姿态转换中身体形变、母猪与仔猪的粘连、场景光照变化等给全天候基于计算机视觉的母猪姿态转换识别带来极大的挑战，因此，几乎未见国内外相关研究成果报道。针对自由栏猪舍场景下，昼夜交替光线变化、母猪与仔猪粘连、猪体形变等给哺乳母猪姿态转换识别带来的困难，本专利技术采用深度视频图像作为母猪姿态转换识别的数据源，提出一种基于FasterR-CNN和HMM的哺乳母猪姿态转换识别算法，试验验证了本专利技术方法的有效性，为母猪高危行为自动识别提供了参考技术。因此，提供一种在复杂环境下，能够准确对哺乳母猪姿态转换进行识别的方法是本领域技术人员亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于FasterR-CNN和HMM的哺乳母猪姿态转换识别方法，能够在母猪形变、与仔猪或墙壁粘连、尺寸不同和夜间场景等复杂情况下，准确识别出母猪姿态转换。为实现上述目的其具体方案如下：本专利技术公开了一种基于FasterR-CNN和HMM的哺乳母猪姿态转换识别方法，包括如下步骤：S1、采集母猪的深度视频图像，并建立母猪姿态转换识别视频图像库；S2、建立FasterR-CNN母猪姿态检测模型和HMM高度序列分类模型；S3、用FasterR-CNN对深度视频图像逐帧检测，获取母猪姿态序列，标记母猪姿态序列中的疑似转换片段和单一姿态片段，在疑似转换片段中选取候选区域，并根据候选区域构建母猪定位管道；S4、对母猪定位管道中的图像逐帧进行分割，计算母猪身体各部分平均高度，形成疑似转换片段的高度序列，并根据高度序列采用HMM高度序列分类模型将疑似转换片段分为未转换片段或姿态转换片段；S5、将未转换片段与单一姿态片段合并形成合并后的单一姿态片段，最后对合并后的单一姿态片段和姿态转换片段分类，获取母猪姿态转换识别结果。FasterR-CNN利用卷积、池化提取高质量图像特征，较好地解决了猪舍场景下，由于光照变化、猪体形变和尺寸不同等问题。本专利技术通过FasterR-CNN产生候选区域，并采用维特比算法构建母猪定位管道，在此基础上，通过Otsu分割和形态学处理提取疑似转换片段中母猪躯干部、尾部和猪体上下两侧的高度序列，由HMM识别姿态转换。优选的，所述步骤S1的具体过程如下：S11、数据采集：实时采集获取俯视母猪深度视频图像；S12、构建数据库：剔除母猪身体缺失、相机抖动的视频段，构建训练集、验证集和测试集；S13、采用中值滤波对深度视频图像逐帧预处理，再通过限制对比度自适应直方图均衡化的方法提高图像对比度；S14、从每个母猪姿态未发生变化的视频段中随机抽取至多5张深度视频图像，分别得到站立、坐、趴卧和侧卧各m张，共4m张，再分别做顺时针90°、180°和270°旋转以及水平、垂直镜像扩增，最后形成24m张图像作为FasterR-CNN的训练集；从每个母猪姿态未发生变化的视频段中随机抽取至多5张深度图像，分别得到n张站立、坐、趴卧和侧卧图像作为FasterR-CNN的验证集；从每个母猪姿态未发生变化的视频段中随机抽取至多5张深度图像，分别得到t张站立、坐、趴卧和侧卧张作为FasterR-CNN的测试集；对训练集、验证集和测试集数据进行手工标注，即标注出母猪在图像中的边界框和姿态类别；S15、随机选取训练集中发生与未发生姿态转换的图像序列若干段，作为HMM模型的训练集；再随机选取验证集中发生与未发生姿态转换的图像序列若干段，作为HMM模型的验证集；将测试集中的所有疑似转换片段作为HMM模型的测试集；对训练集、验证集和测试集数据进行手工标注，即标注出母猪在视频段中是否发生姿态转换。优选的，所述步骤S2的具体过程如下：S21、训练FasterR-CNN模型，具体过程如下，S211、选择ZFNet作为网络结构，通过Caffe框架进行模型训练；S212、采用随机梯度下降法和反向传播算法微调参数，对网络层采用高斯分布初始化；其中，微调参数的过程选择最大迭代次数为9×104，其中前6×104次学习率为10-3，后3×104次学习率为10-4，冲量为0.9，权值的衰减系数为5×10-4，mini-batch为256，对网络层采用均值为0，标准差为0.1的高斯分布初始化。S213、根据深度图像中母猪的尺寸，将锚点面积设置为962、1282和1602，长宽比设置为1:1、1:3和3:1；S22、训练HMM高度序列分类模型；提取HMM模型训练集和验证集的高度序列，每段高度序列行数为4，分别对应躯干部、尾部和猪体上下两侧；设置核函数个数、隐状态数和最大迭代次数，并将每段高度序列减去各自均值作为预处理；重复10次试验，保留准确率最高的模型。其中，设置核函数个数和隐状态数为2，最大迭代次数为500，当误差小于10-6时算法提前结束。优选的，所述步骤S3的具体过程如下：S31、获取母猪姿态序列和候选区域，具体过程如下，S311、将深度视频图像逐帧输入至FasterR-CNN模型进行检测；S312、选取每帧中概率最大的姿态，形成姿态序列，用于步骤S32疑似转换片段的检测和步骤S5单一姿态片段分类，同时保留概率最大的前五个检测框作为候选区域，用于步骤S33连接候选区域；S32：根据姿态转换持续时间的统计结果，采用滑动窗口计算每个窗口内姿态序列的变化次数，选取变化次数大于3的片段作为疑似转换片段，其余片段作为单一姿态片段；滑动窗口的长度为20、步长为1；S33：对疑似转换片段各帧中的候选区域，本文档来自技高网...

【技术保护点】
1.一种根据权利要求1所述的一种基于Faster R‑CNN和HMM的哺乳母猪姿态转换识别方法，其特征在于，包括如下步骤：S1、采集母猪的深度视频图像，并建立母猪姿态转换识别视频图像库；S2、建立Faster R‑CNN母猪姿态检测模型和HMM高度序列分类模型；S3、用Faster R‑CNN对深度视频图像逐帧检测，获取母猪姿态序列，标记母猪姿态序列中的疑似转换片段和单一姿态片段，在疑似转换片段中选取候选区域，并根据候选区域构建母猪定位管道；S4、对母猪定位管道中的图像逐帧进行分割，计算母猪身体各部分平均高度，形成疑似转换片段的高度序列，并根据高度序列采用HMM高度序列分类模型将疑似转换片段分为未转换片段或姿态转换片段；S5、将未转换片段与单一姿态片段合并形成合并后的单一姿态片段，最后对合并后的单一姿态片段和姿态转换片段分类，获取母猪姿态转换识别结果。

【技术特征摘要】
1.一种根据权利要求1所述的一种基于FasterR-CNN和HMM的哺乳母猪姿态转换识别方法，其特征在于，包括如下步骤：S1、采集母猪的深度视频图像，并建立母猪姿态转换识别视频图像库；S2、建立FasterR-CNN母猪姿态检测模型和HMM高度序列分类模型；S3、用FasterR-CNN对深度视频图像逐帧检测，获取母猪姿态序列，标记母猪姿态序列中的疑似转换片段和单一姿态片段，在疑似转换片段中选取候选区域，并根据候选区域构建母猪定位管道；S4、对母猪定位管道中的图像逐帧进行分割，计算母猪身体各部分平均高度，形成疑似转换片段的高度序列，并根据高度序列采用HMM高度序列分类模型将疑似转换片段分为未转换片段或姿态转换片段；S5、将未转换片段与单一姿态片段合并形成合并后的单一姿态片段，最后对合并后的单一姿态片段和姿态转换片段分类，获取母猪姿态转换识别结果。2.根据权利要求1所述的一种基于FasterR-CNN和HMM的哺乳母猪姿态转换识别方法，其特征在于，所述步骤S1的具体过程如下：S11、数据采集：实时采集获取俯视母猪深度视频图像；S12、构建数据库：剔除母猪身体缺失、相机抖动的视频段，构建训练集、验证集和测试集；S13、采用中值滤波对深度视频图像逐帧预处理，再通过限制对比度自适应直方图均衡化的方法提高图像对比度；S14、从每个母猪姿态未发生变化的视频段中随机抽取至多5张深度视频图像，分别得到站立、坐、趴卧和侧卧各m张，共4m张，再分别做顺时针90°、180°和270°旋转以及水平、垂直镜像扩增，最后形成24m张图像作为FasterR-CNN的训练集；从每个母猪姿态未发生变化的视频段中随机抽取至多5张深度图像，分别得到n张站立、坐、趴卧和侧卧图像作为FasterR-CNN的验证集；从每个母猪姿态未发生变化的视频段中随机抽取至多5张深度图像，分别得到t张站立、坐、趴卧和侧卧张作为FasterR-CNN的测试集；对训练集、验证集和测试集数据进行手工标注，即标注出母猪在图像中的边界框和姿态类别；S15、随机选取训练集中发生与未发生姿态转换的图像序列若干段，作为HMM模型的训练集；再随机选取验证集中发生与未发生姿态转换的图像序列若干段，作为HMM模型的验证集；将测试集中的所有疑似转换片段作为HMM模型的测试集；对训练集、验证集和测试集数据进行手工标注，即标注出母猪在视频段中是否发生姿态转换。3.根据权利要求1所述的一种基于FasterR-CNN和HMM的哺乳母猪姿态转换识别方法，其特征在于，所述步骤S2的具体过程如下：S21、训练FasterR-CNN模型，具体过程如下，S211、选择ZFNet作为网络结构，通过Caffe框架进行模型训练；S212、采用随机梯度下降法和反向传播算法微调参数，对网络层采用高斯分布初始化；S213、根据深度图像中母猪的尺寸，将锚点面积设置为962、1282和1602，长宽比设置为1∶1、1∶3和3∶1；S22、训练HMM高度序列分类模型；提取HMM模型训练集和验证集的高度序列，每段高度序列行数为4，分别对应躯干部、尾部和猪体上下两侧；设置核函数个数、隐状态数和最大迭代次数，并将每段高度序列减去各自均值作为预处理；重复10次试验，保留准确率最高的模型。4.根据权利要求1所述的一种基于FasterR-CNN和HMM的哺乳母猪姿态转换识别方法，其特征在于，所述步骤S3的具体过程如下：S31、获取母猪姿态序列和...

【专利技术属性】
技术研发人员：薛月菊，杨晓帆，郑婵，陈畅新，王卫星，甘海明，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东,44