基于多重注意力机制和多时间聚合的禽类行为检测方法技术

本发明专利技术为基于多重注意力机制和多时间聚合的禽类行为检测方法，所述检测方法包括以下步骤：并对原始视频进行处理提取禽类动作丰富的视频帧并标注禽类个体，得到图像数据集A；利用图像数据集训练目标检测算法，获得训练好的目标检测算法；对原始视频进行处理并利用提取关键帧的方式，获得关键帧，利用目标检测算法对关键帧进行目标检测，获得关键帧中禽类个体的位置坐标，并对关键帧中的禽类个体的位置坐标进行修正同时进行行为标注；使用DeepSort算法对关键帧中的禽类个体进行追踪，锁定禽类个体的id；构建基于多重注意力机制和多时间聚合的禽类时空行为检测模型。通过将多种注意力机制嵌入到网络中，提升了网络的检测精确度。提升了网络的检测精确度。提升了网络的检测精确度。

【技术实现步骤摘要】
基于多重注意力机制和多时间聚合的禽类行为检测方法


[0001]本专利技术属于养殖场智能监测
，具体是一种基于多重注意力机制和多时间聚合的禽类行为检测方法。

技术介绍

[0002]禽类行为的精准、实时检测一直是禽类研究人员关注的热点课题。禽类的行为与其健康情况息息相关，能实时检测到禽类的行为、分析禽类是否健康，对提早发现病禽，阻止疾病在禽类传播具有重要意义。目前禽类行为的检测方法主要有三种：人工观察法、传感器检测法、计算机视觉检测法。传统的人工观测法就是养殖员通过定期巡逻以及肉眼观察的方法去粗略的判断禽类是否出现健康问题，这种方法人工成本高，劳动强度大，并且效率低，不适合大规模养殖。传感器检测法就是在禽类的身上佩戴运动传感器，这种方法不仅会影响禽类行为，而且存在成本大、传感器佩戴困难、耗电等问题，不利于禽类养殖业向数字化、信息化的方向发展。计算机视觉检测法是通过禽类图像或视频来检测禽类行为的，这是一种非侵入性、成本低、高效的感知技术。计算机视觉检测法相对于其他两种方法运算速度快、准确率更高，可以极大地提升禽类的健康检测效率和福利。
[0003]近年来，基于计算机视觉的检测方法取得了许多重大进展，检测精度得到大幅提升。目前，基于计算机视觉的禽类行为检测主要分为两类，一类是基于传统方法的禽类行为检测，另一类就是基于深度学习的禽类行为检测方法。由于传统方法严重依赖手工设计，使其缺乏可移植性、泛化性，这就导致传统方法的检测精度低于深度学习算法。基于深度学习的禽类行为检测方法，具有自动学习特征的优点，相比于传统方法，深度学习所提取的特征鲁棒性更强，泛化性更好。但是，由于禽类的相关动作速度较快，且禽类个体之间存在遮挡现象，容易导致禽类动作检测精度低。
[0004]综上所述，本申请提出了一种基于多重注意力机制和多时间聚合的禽类行为检测方法，通过目标检测算法、目标追踪算法实现禽类个体的追踪定位，再使用基于多重注意力机制和多时间聚合的禽类时空行为检测算法实现禽类个体的行为检测。基于多重注意力机制和多时间聚合的禽类时空行为检测算法以SlowFast为基础，通过嵌入了多重注意力机制和多时间聚合，提升了检测精度，有助于禽类养殖业的发展以及评估禽类的健康状况和福利。

技术实现思路

[0005]针对现有技术的不足，本专利技术的目的在于，提供一种基于多重注意力机制和多时间聚合的禽类行为检测方法；该方法使用目标检测算法作为禽类目标检测器，用于检测视频中禽类个体的位置坐标，利用DeepSort目标追踪算法对禽类个体进行追踪，锁定其id，然后利用基于多重注意力机制和多时间聚合的禽类时空行为检测模型，实现对多个禽类个体的目标追踪和行为检测，提升了检测精度(95.32％)，同时也为禽类行为检测自动化提供了新思路。
[0006]本专利技术解决所述技术问题所采用的技术方案如下：
[0007]第一方面，本专利技术提供一种基于多重注意力机制和多时间聚合的禽类行为检测方法，所述检测方法包括以下步骤：
[0008]利用视频采集系统采集养殖场禽类的视频作为原始视频，并对原始视频进行处理提取禽类动作丰富的视频帧并标注禽类个体，得到图像数据集A；
[0009]利用图像数据集训练目标检测算法，获得训练好的目标检测算法；
[0010]对原始视频进行处理并利用提取关键帧的方式，获得关键帧，利用目标检测算法对关键帧进行目标检测，获得关键帧中禽类个体的位置坐标，并对关键帧中的禽类个体的位置坐标进行修正同时进行行为标注；使用DeepSort算法对关键帧中的禽类个体进行追踪，锁定禽类个体的id；将禽类个体的位置坐标、行为类别和id合并，得到禽类行为数据集B；
[0011]构建基于多重注意力机制和多时间聚合的禽类时空行为检测模型：
[0012]所述基于多重注意力机制和多时间聚合的禽类时空行为检测模型以SlowFast网络为基础，包括两条支路，一条是快支路，一条是慢支路，两条支路分别用来建模高时间分辨率的视频帧和低时间分辨率的视频帧；每一条支路对应一个Resnet50结构，其中包含一个conv层，一个pool层以及四个残差阶段；在四个残差阶段中分别用通道注意力模块CA、时间注意力模块TA、动作激励模块ME、时间激励模块CE替换其中的残差单元；
[0013]每个通道注意力模块CA、时间注意力模块TA、动作激励模块ME、时间激励模块CE的输出连接一个多时间聚合模块MTA；两条支路的输出通过全连接层输出禽类时空行为检测结果；
[0014]利用禽类行为数据集B训练基于多重注意力机制和多时间聚合的禽类时空行为检测模型，用于禽类时空行为检测。
[0015]所述目标检测算法为Yolov5目标检测算法和FasterR
‑
CNN目标检测算法，在禽类行为数据集B制作阶段，利用Yolov5目标检测算法进行目标检测；在实时检测阶段，对待检测的视频帧进行关键帧提取，使用FasterR
‑
CNN目标检测算法对关键帧进行目标检测，获得待检测的视频帧中禽类个体的位置坐标，使用DeepSort算法对待检测的视频帧中的关键帧中的禽类个体进行追踪，锁定禽类个体的id，以关键帧为中心的前后视频帧和禽类个体的位置坐标为输入，输入基于多注意力机制和多时间聚合的禽类行为检测模型中进行实时禽类时空行为检测；
[0016]FasterR
‑
CNN目标检测算法使用在ImageNet数据集上预训练的ResNet
‑
50作为骨干网络，然后在图像数据集A上进行训练和验证，进而得到训练好的FasterR
‑
CNN目标检测算法；YOLOV5目标检测算法选择YOLOV5m作为初始化模型，然后在图像数据集A上进行训练和验证，进而得到训练好的YOLOV5目标检测算法。
[0017]第二方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述方法的步骤。
[0018]与现有技术相比，本专利技术的有益效果是：
[0019]本专利技术以SlowFast为基础上，加入了多重注意力机制和多时间聚合。通过将多种注意力机制嵌入到网络中，提升了网络建模时间信息，通道信息和动作信息的能力。多时间聚合内部将局部卷积变形为一组子卷积，将等效的时间感受野扩大，进而使网络可以更好
的建模有效的远程时间关系，实验结果证明，本专利技术相比于SlowFast网络，精度提升了5.99％。
[0020]本专利技术方法首先利用预训练的FasterR
‑
CNN目标检测算法提取图像中禽类个体的位置坐标；再利用预训练的DeepSort目标追踪算法对图像中的禽类个体进行追踪；最后利用基于多重注意力机制和多时间聚合的禽类时空行为检测模型检测出视频中禽类个体的行为，进而实现对多个禽类个体的目标追踪和行为检测。相比于图片，本方法采用视频流来检测视频中禽类个体的行为，在空间的基础上增加了更重要的时间信息，通过提取视频流的时空信息使得算法检测精确度更高。
附图说明<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多重注意力机制和多时间聚合的禽类行为检测方法，其特征在于，所述检测方法包括以下步骤：利用视频采集系统采集养殖场禽类的视频作为原始视频，并对原始视频进行处理提取禽类动作丰富的视频帧并标注禽类个体，得到图像数据集A；利用图像数据集训练目标检测算法，获得训练好的目标检测算法；对原始视频进行处理并利用提取关键帧的方式，获得关键帧，利用目标检测算法对关键帧进行目标检测，获得关键帧中禽类个体的位置坐标，并对关键帧中的禽类个体的位置坐标进行修正同时进行行为标注；使用Deep Sort算法对关键帧中的禽类个体进行追踪，锁定禽类个体的id；将禽类个体的位置坐标、行为类别和id合并，得到禽类行为数据集B；构建基于多重注意力机制和多时间聚合的禽类时空行为检测模型：所述基于多重注意力机制和多时间聚合的禽类时空行为检测模型以SlowFast网络为基础，包括两条支路，一条是快支路，一条是慢支路，两条支路分别用来建模高时间分辨率的视频帧和低时间分辨率的视频帧；每一条支路对应一个Resnet50结构，其中包含一个conv层，一个pool层以及四个残差阶段；在四个残差阶段中分别用通道注意力模块CA、时间注意力模块TA、动作激励模块ME、时间激励模块CE替换其中的残差单元；每个通道注意力模块CA、时间注意力模块TA、动作激励模块ME、时间激励模块CE的输出连接一个多时间聚合模块MTA；两条支路的输出通过全连接层输出禽类时空行为检测结果；利用禽类行为数据集B训练基于多重注意力机制和多时间聚合的禽类时空行为检测模型，用于禽类时空行为检测。2.根据权利要求1所述的基于多重注意力机制和多时间聚合的禽类行为检测方法，其特征在于，所述目标检测算法为Yolo v5目标检测算法和Faster R
‑
CNN目标检测算法，在禽类行为数据集B制作阶段，利用Yolo v5目标检测算法进行目标检测；在实时检测阶段，对待检测的视频帧进行关键帧提取，使用Faster R
‑
CNN目标检测算法对关键帧进行目标检测，获得待检测的视频帧中禽类个体的位置坐标，使用Deep Sort算法对待检测的视频帧中的关键帧中的禽类个体进行追踪，锁定禽类个体的id，以关键帧为中心的前后视频帧和禽类个体的位置坐标为输入，输入基于多注意力机制和多时间聚合的禽类行为检测模型中进行实时禽类时空行为检测；Faster R
‑
CNN目标检测算法使用在ImageNet数据集上预训练的ResNet
‑
50作为骨干网络，然后在图像数据集A上进行训练和验证，进而得到训练好的Faster R
‑
CNN目标检测算法；YOLO V5目标检测算法选择YOLO V5m作为初始化模型，然后在图像数据集A上进行训练和验证，进而得到训练好的YOLO V5目标检测算法。3.根据权利要求1所述的基于多重注意力机制和多时间聚合的禽类行为检测方法，其特征在于，所述图像数据集A的获取过程是：1)录制了24个小时的禽类行为视频数据，并每间隔30分钟以mp4的格式保存在电脑中；对视频数据进行了两次筛选获取具有丰富禽类动作的视频帧：首先对时长为30分钟的原始视频进行初步筛选；然后将筛选后的视频分解为多个时长为2分钟的视频片段；之后再对2分钟的视频片段进行二次筛选，来减小各禽类动作之间的数量差距，减小数据的不平衡；最后将筛选后的2分钟视频片段放在一起，构成视频片段集V；2)使用视频处理工具ffmpeg以每十秒一帧的速率，从视频片段集V中提取用于目标检
测算法训练的视频帧F1；3)使用数据集标注工具labelme对视频帧F1进行标注，对视频帧F1中的禽类个体使用矩形候选框进行框选标注，将禽类个体标注为chicken；所有视频帧与标注的矩形候选框构成图像数据集A。4.根据权利要求3所述的基于多重注意力机制和多时间聚合的禽类行为检测方法，其特征在于，所述禽类行为数据集B的获取过程是：1)按照30FPS的视频帧率，将视频片段集V中的视频剪辑为帧，获得用于时空行为检测算法训练的视频帧F2；2)从视频帧F2中每30帧选取一帧作为关键帧送入目标检测算法中进行检测，进而得到关键帧中禽类个体的位置坐标；3)使用VIA标注工具手动调整目标检测算法所检测到的禽类个体的位置坐标，并标注禽类的行为，行为包括进食、饮水、站立或坐卧；4)使用Deep Sort算法对VIA调整后的禽类候选框在时间维度进行关联，获得禽类个体的id；5)最后将禽类个体的位置坐标、行为类别和id合并在一起，构成禽类行为数据集B。5.根据权利要求1所述的基于多重注意力机制和多时间聚合的禽类行为检测方法，其特征在于，所述通道注意力模块CA包括一个Residual层、一个3D全局平均池化层、两个3D卷积层、一个Sigmoid层；假定输...

【专利技术属性】
技术研发人员：何静飞，李建伟，王茂森，刘晓彤，
申请(专利权)人：张家口市绿色田园禽业科技有限公司，
类型：发明
国别省市：