基于深度学习的煤矿井下行人检测方法技术

本发明专利技术公开了基于深度学习的煤矿井下行人检测方法，检测方法如下：建立煤矿井下行人检测的深度学习卷积神经网络模型，将获取的煤矿井下监控视频转换为图片，输入深度学习卷积神经网络模型，提取煤矿井下监控视频中行人的底层特征和高层特征，并将底层特征和高层特征进行融合，作为最终的输出检测结果。该基于深度学习的煤矿井下行人检测方法检测速度较快、检测准确率高，能够满足实时的要求。

【技术实现步骤摘要】
基于深度学习的煤矿井下行人检测方法
本专利技术属于人工智能
，具体涉及基于深度学习的煤矿井下行人检测方法。
技术介绍
目前，各类公共场所已具备有效的摄像头监控，可以有效监控各类突发事件，保障了人民的财产安全和社会稳定。因矿井下光照条件暗，背景混乱，环境复杂，监控视频下可利用的视觉信息很少，无法像自然光条件通过传统图像处理技术利用手提特征：HOG、Haar、LBP特征等相关技术来实现煤矿井下行人的检测。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术的不足，提供一种检测速度较快、检测准确率高，能够满足实时的要求的基于深度学习的煤矿井下行人检测方法。为解决上述技术问题，本专利技术采用的技术方案是，该检测方法如下：建立煤矿井下行人检测的深度学习卷积神经网络模型，将获取的煤矿井下监控视频转换为图片，输入深度学习卷积神经网络模型，提取煤矿井下监控视频中行人的底层特征和高层特征，并将底层特征和高层特征进行融合，作为最终的输出检测结果。进一步地，该深度学习卷积神经网络模型包括n层卷积层和6层下采样层，n层卷积层和6层下采样层分为如下七组：第一组和第二组均依次包括一层卷积层和一层下采样层，第三组依次包括三层卷积层和一层下采样层，第四组和第五组均依次包括多层卷积层和一层下采样层，且第四组中的卷积层的层数小于第五组中的卷积层的层数，第六组依次包括多层卷积层，第七组依次包括一层或者多层卷积层、以及一层下采样层；的深度学习卷积神经网络模型中的第一组到第六组顺次连接，同时，第四组的输出作为第七组的输入，第七组的输出与第六组的输出相加，作为整个模型的输出；其中：23≤n≤150，n为整数。进一步地，该深度学习卷积神经网络模型包括23层卷积层和6层下采样层，所述23层卷积层和6层下采样层分为如下七组：第一组和第二组均依次包括一层卷积层和一层下采样层，第三组依次包括三层卷积层和一层下采样层，第四组依次包括三层卷积层和一层下采样层，第五组依次包括五层卷积层和一层下采样层，第六组依次包括九层卷积层，第七组依次包括一层卷积层和一层下采样层；该深度学习卷积神经网络模型中的第一组到第六组顺次连接，同时，第四组的输出作为第七组的输入，第七组的输出与第六组的输出相加，作为整个模型的输出。进一步地，该在第一组、第二组和第三组中，卷积层由3*3大小，步长为1的卷积核形成。进一步地，该在第四组、第五组和第六组中，多个卷积层由多个3*3大小，步长为1的卷积核以及多个1*1大小，步长为1的卷积核形成。进一步地，该在第七组中，卷积层由30个大小为1*1，步长为1的卷积核形成。进一步地，将图片输入深度学习卷积神经网络模型之前，选取训练数据集，以图像中的目标的最小化损失函数为训练参数，对所述深度学习卷积神经网络模型进行训练，以得到训练好的深度学习卷积神经网络模型。本专利技术基于深度学习的煤矿井下行人检测方法具有如下优点：1.检测速度较快，能够满足实时的要求。2.采用不同层次的特征融合，从而实现准确率的提升，检测准确率高。3.使用近些年来最火的深度学习技术来代替手提特征的问题，使用卷积神经网络获取图像特征。附图说明图1是本专利技术中深度学习模型的结构示意图。图2为本专利技术中卷积计算过程的示意图。图3为本专利技术中下采样使用的是最大池化方法。具体实施方式本专利技术基于深度学习的煤矿井下行人检测方法，该检测方法如下：建立煤矿井下行人检测的深度学习卷积神经网络模型，将获取的煤矿井下监控视频转换为图片，输入深度学习卷积神经网络模型，提取煤矿井下监控视频中行人的底层特征和高层特征，并将底层特征和高层特征进行融合，作为最终的输出检测结果。如图1所示，上述的深度学习卷积神经网络模型包括n层卷积层和6层下采样层，所述n层卷积层和6层下采样层分为如下七组：第一组和第二组均依次包括一层卷积层和一层下采样层，第三组依次包括三层卷积层和一层下采样层，第四组和第五组均依次包括多层卷积层和一层下采样层，且所述第四组中的卷积层的层数小于第五组中的卷积层的层数，第六组依次包括多层卷积层，第七组依次包括一层或者多层卷积层、以及一层下采样层；所述的深度学习卷积神经网络模型中的第一组到第六组顺次连接，同时，第四组的输出作为第七组的输入，第七组的输出与第六组的输出相加，作为整个模型的输出；其中：23≤n≤150，n为整数。在实际处理煤炭井下图片时，n为23时，效果最好，即深度学习卷积神经网络模型包括23层卷积层和6层下采样层，所述23层卷积层和6层下采样层分为如下七组：第一组和第二组均依次包括一层卷积层和一层下采样层，第三组依次包括三层卷积层和一层下采样层，第四组依次包括三层卷积层和一层下采样层，第五组依次包括五层卷积层和一层下采样层，第六组依次包括九层卷积层，第七组依次包括一层卷积层和一层下采样层；所述的深度学习卷积神经网络模型中的第一组到第六组顺次连接，同时，第四组的输出作为第七组的输入，第七组的输出与第六组的输出相加，作为整个模型的输出。该深度学习卷积神经网络模型中在第一组、第二组和第三组中，所述卷积层由3*3大小，步长为1的卷积核形成。在第四组、第五组和第六组中，多个卷积层由多个3*3大小，步长为1的卷积核以及多个1*1大小，步长为1的卷积核形成。在第七组中，卷积层由30个大小为1*1，步长为1的卷积核形成。该基于深度学习的煤矿井下行人检测方法，将图片输入深度学习卷积神经网络模型之前，选取训练数据集，以图像中的目标的最小化损失函数为训练参数，对所述深度学习卷积神经网络模型进行训练，以得到训练好的深度学习卷积神经网络模型。构建深度学习卷积神经网络模型的损失函数，以最小化损失函数为训练参数，图形中的目标所构建的损失函数如下：其中，s2：表示将图片划分成了s×s个栅格共有s2个栅格；B：表示每个栅格预测范围框的个数；xi,yi,ωi,hi：表示第i个栅格预测的目标的范围框的值，四个参数分别代表目标的中心位置的坐标、高、宽；xi',yi',ωi',hi'代表的是真实值(标注值)；λcoord、λnoobj代表权重系数；Ci：表示第i个栅格是否包含目标的置信度得分；Ci'：表示第i个栅格是否包含目标的真实标记值；Lijobj表示目标是否落入第个i栅格中第j个范围框；Lijnoobj：表示目标没有落入第i个栅格中的第j个范围框；Liobj：表示是否有目标的中心点落在落在栅格i中；i的范围都是0到S2，j的取值范围是0到B，classes：表示目标类别的集合，即模型训练时候，数据集所包括的类别数目；c表示具体的目标类别；pi(c)：表示的是第i个栅格预测的目标类别c的概率；pi'(c)：表示的是第i个栅格负责预测目标类别c的值。损失函数中不带“’”均为预测值，带“’”的为真实值。图片处理的具体过程如下：先将输入的图片的大小调整为416*416分辨率，然后将其分成了13*13个栅格，如果一个目标的中心落在了某一个栅格中，那么这个栅格就负责检测这个目标。每个栅格能够预测5个范围框和这些范围框所代表某个种类的置信度。置信度代表了这个范围框都包含哪些种类以及预测的这些种类分别的精确度。定义置信度为检测目标的概率与IOU的乘积，如下：P(Object)代表某个栅格中是否存在目标物体的概率，如果存在则值为1，否则为0。本文档来自技高网...

【技术保护点】
基于深度学习的煤矿井下行人检测方法，其特征在于，该检测方法如下：建立煤矿井下行人检测的深度学习卷积神经网络模型，将获取的煤矿井下监控视频转换为图片，输入深度学习卷积神经网络模型，提取煤矿井下监控视频中行人的底层特征和高层特征，并将底层特征和高层特征进行融合，作为最终的输出检测结果。

【技术特征摘要】
1.基于深度学习的煤矿井下行人检测方法，其特征在于，该检测方法如下：建立煤矿井下行人检测的深度学习卷积神经网络模型，将获取的煤矿井下监控视频转换为图片，输入深度学习卷积神经网络模型，提取煤矿井下监控视频中行人的底层特征和高层特征，并将底层特征和高层特征进行融合，作为最终的输出检测结果。2.根据权利要求1所述的基于深度学习的煤矿井下行人检测方法，其特征在于，所述深度学习卷积神经网络模型包括n层卷积层和6层下采样层，所述n层卷积层和6层下采样层分为如下七组：第一组和第二组均依次包括一层卷积层和一层下采样层，第三组依次包括三层卷积层和一层下采样层，第四组和第五组均依次包括多层卷积层和一层下采样层，且所述第四组中的卷积层的层数小于第五组中的卷积层的层数，第六组依次包括多层卷积层，第七组依次包括一层或者多层卷积层、以及一层下采样层；所述的深度学习卷积神经网络模型中的第一组到第六组顺次连接，同时，第四组的输出作为第七组的输入，第七组的输出与第六组的输出相加，作为整个模型的输出；其中：23≤n≤150，n为整数。3.根据权利要求2所述的基于深度学习的煤矿井下行人检测方法，其特征在于，所述深度学习卷积神经网络模型包括23层卷积层和6层下采样层，所述23层卷积层和6层下采样层分为如下七组：第一组和第...

【专利技术属性】
技术研发人员：卫晨，李伟山，张钰良，王琳，陈仁生，潘志刚，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西,61