一种双分支行人异常行为识别方法、设备及介质技术

本申请公开了一种双分支行人异常行为识别方法、设备及介质，方法包括：获取包含有行人异常行为的图像；将行人的头部区域与身体区域分割；对头部区域和身体区域进行特征提取，并通过浅层特征对头部区域对应的细节行人异常行为进行分类预测，通过深层特征对身体区域对应的整体行人异常行为进行分类预测；通过损失函数对神经网络模型进行训练。针对细节异常行为，利用浅层特征使得保留了更多有效信息，从而使得模型分类性能得到提升。不针对连续帧进行处理，也就不包含有时间深度上的维度处理，由此属于2D网络。利用简单的2D网络直接去替换3D网络去直接进行分类，使得模型计算量和复杂度更为简化，使得其能够有效在低算力嵌入式设备部署运行。备部署运行。备部署运行。

【技术实现步骤摘要】
一种双分支行人异常行为识别方法、设备及介质


[0001]本申请涉及人工智能领域，具体涉及一种双分支行人异常行为识别方法、设备及介质。

技术介绍

[0002]随着科技的进步，神经网络在各类计算视觉任务中取得重大突破。比如，在公共安全方面中，智能视频监控近年来受到了越来越多人的关注，而神经网络则可以在行人行为检测中发挥着重要作用，比如，对在重点区域行人奔跑、打架、摔倒、抽烟、打电话以及未佩戴安全帽等异常行为进行检测。
[0003]传统的方法中，利用3D卷积神经网络处理连续帧视频的方法进行行人异常行为识别尤为多见。但是该种方法在嵌入式端(低算力设备)部署起来却十分困难。

技术实现思路

[0004]为了解决上述问题，本申请提出了一种双分支行人异常行为识别方法，包括：
[0005]获取包含有行人异常行为的图像，并将所述图像作为训练神经网络模型的训练样本；
[0006]在输入的所述训练样本中，将行人的头部区域与身体区域分割；
[0007]对所述头部区域和所述身体区域进行特征提取，并通过浅层特征对所述头部区域对应的细节行人异常行为进行分类预测，通过深层特征对所述身体区域对应的整体行人异常行为进行分类预测；
[0008]通过损失函数对所述神经网络模型进行训练，以根据训练好的所述神经网络模型进行行人异常行为预测。
[0009]在一个示例中，对所述头部区域和所述身体区域进行特征提取，具体包括：
[0010]确定所述神经网络模型包含的多个提取深度逐渐递增的特征提取模块；
[0011]将第一指定提取模块提取到的特征作为浅层特征，并将位于所述第一指定提取模块之后的第二指定提取模块提取到的特征作为深层特征；所述第一指定提取模块与所述第二指定提取模块为相邻的两个模块。
[0012]在一个示例中，确定所述神经网络模型包含的多个提取深度逐渐递增的特征提取模块，具体包括：
[0013]确定输入的训练样本为其中，h表示图像高度，w表示图像宽度,c表示图像输入通道数；
[0014]确定所述神经网络模型包含的五个提取深度逐渐递增的特征提取模块p1模块～p5模块，其中，所述图像经过p1模块得到特征图f1，特征图f1的特征维度为特征图f1经过p2模块到特征图f2，特征图f2的特征维度为
特征图f2经过p3模块到特征图f3，特征图f3的特征维度为特征图f3经过p4模块到特征图f4，特征图f4的特征维度为特征图f4经过p5模块到特征图f5，特征图f5的特征维度为并且，c1<c2<c3<c4<c5。
[0015]在一个示例中，所述第一指定提取模块位p4模块，所述浅层特征为所述特征图f4，所述第二指定提取模块为p5模块，所述深层特征为所述特征图f5。
[0016]在一个示例中，通过浅层特征对所述头部区域对应的细节行人异常行为进行分类预测，具体包括：
[0017]针对所述浅层特征，利用detail head模块进行变换得到细节行人异常行为所属特征；
[0018]经过detail cls细节行人异常行为分类器进行分类预测。
[0019]在一个示例中，通过深层特征对所述身体区域对应的整体行人异常行为进行分类预测，具体包括：
[0020]针对所述深层特征，经过state cls整体行人异常行为分类器进行分类预测。
[0021]在一个示例中，通过损失函数对所述神经网络模型进行训练，具体包括：
[0022]通过二值交叉熵损失函数计算损失，以便于根据所述二值交叉熵损失函数对所述神经网络模型进行训练；
[0023]所述二值交叉熵损失函数表示为：L＝alpha*L
d
+beta*L
s
，其中，L
d
为细节行人异常行为损失值，L
s
为整体行人异常行为损失值，alpha、beta均为权重系数因子，取值范围均在0～1之间。
[0024]在一个示例中，所述细节行人异常行为对应于抽烟、通话、佩戴安全帽、口罩中的至少一类；所述整体行人异常行为对应于跑、打架、摔倒中的至少一类。
[0025]另一方面，本申请还提出了一种双分支行人异常行为识别设备，包括：
[0026]至少一个处理器；以及，
[0027]与所述至少一个处理器通信连接的存储器；其中，
[0028]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0029]获取包含有行人异常行为的图像，并将所述图像作为训练神经网络模型的训练样本；
[0030]在输入的所述训练样本中，将行人的头部区域与身体区域分割；
[0031]对所述头部区域和所述身体区域进行特征提取，并通过浅层特征对所述头部区域对应的细节行人异常行为进行分类预测，通过深层特征对所述身体区域对应的整体行人异常行为进行分类预测；
[0032]通过损失函数对所述神经网络模型进行训练，以根据训练好的所述神经网络模型进行行人异常行为预测。
[0033]另一方面，本申请还提出了一种非易失性计算机存储介质，存储有计算机可执行
指令，所述计算机可执行指令设置为：
[0034]获取包含有行人异常行为的图像，并将所述图像作为训练神经网络模型的训练样本；
[0035]在输入的所述训练样本中，将行人的头部区域与身体区域分割；
[0036]对所述头部区域和所述身体区域进行特征提取，并通过浅层特征对所述头部区域对应的细节行人异常行为进行分类预测，通过深层特征对所述身体区域对应的整体行人异常行为进行分类预测；
[0037]通过损失函数对所述神经网络模型进行训练，以根据训练好的所述神经网络模型进行行人异常行为预测。
[0038]通过本申请提出双分支行人异常行为识别方法能够带来如下有益效果：
[0039]在分析细节与整体异常行为本身的特征区域，将训练图片按照区域划分开。在头部更多关注细节异常行为(比如，抽烟、打电话以及佩戴安全帽等)，在其余部分更多去注意整体异常行为(比如，跑、打架、摔倒等)，这样可以很好的去掉不同异常行为区分特征中的冗余信息，使得特征表达更清晰。
[0040]此外，针对细节异常行为，利用浅层特征使得保留了更多有效信息，从而使得模型分类性能得到提升。不针对连续帧进行处理，也就不包含有时间深度上的维度处理，由此属于2D网络。利用简单的2D网络直接去替换3D网络去直接进行分类，使得模型计算量和复杂度更为简化，使得其能够有效在低算力嵌入式设备部署运行。
附图说明
[0041]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0042]图1为本申请实施例中双分支行人异常行为识别方法的流程示意图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双分支行人异常行为识别方法，其特征在于，包括：获取包含有行人异常行为的图像，并将所述图像作为训练神经网络模型的训练样本；在输入的所述训练样本中，将行人的头部区域与身体区域分割；对所述头部区域和所述身体区域进行特征提取，并通过浅层特征对所述头部区域对应的细节行人异常行为进行分类预测，通过深层特征对所述身体区域对应的整体行人异常行为进行分类预测；通过损失函数对所述神经网络模型进行训练，以根据训练好的所述神经网络模型进行行人异常行为预测。2.根据权利要求1所述的方法，其特征在于，对所述头部区域和所述身体区域进行特征提取，具体包括：确定所述神经网络模型包含的多个提取深度逐渐递增的特征提取模块；将第一指定提取模块提取到的特征作为浅层特征，并将位于所述第一指定提取模块之后的第二指定提取模块提取到的特征作为深层特征；所述第一指定提取模块与所述第二指定提取模块为相邻的两个模块。3.根据权利要求2所述的方法，其特征在于，确定所述神经网络模型包含的多个提取深度逐渐递增的特征提取模块，具体包括：确定输入的训练样本为其中，h表示图像高度，w表示图像宽度,c表示图像输入通道数；确定所述神经网络模型包含的五个提取深度逐渐递增的特征提取模块p1模块～p5模块，其中，所述图像经过p1模块得到特征图f1，特征图f1的特征维度为特征图f1经过p2模块到特征图f2，特征图f2的特征维度为特征图f2经过p3模块到特征图f3，特征图f3的特征维度为特征图f3经过p4模块到特征图f4，特征图f4的特征维度为特征图f4经过p5模块到特征图f5，特征图f5的特征维度为并且，c1<c2<c3<c4<c5。4.根据权利要求3所述的方法，其特征在于，所述第一指定提取模块位p4模块，所述浅层特征为所述特征图f4，所述第二指定提取模块为p5模块，所述深层特征为所述特征图f5。5.根据权利要求4所述的方法，其特征在于，通过浅层特征对所述头部区域对应的细节行人异常行为进行分类预测，具体包括：针对所述浅层特征，利用detail head模块进行变换得到细节行人异常行为所属特征；经过detail cls细节行人异常行为分类器进行分类预测。6.根据权利要求4所述的方法，其特征在于，通过深层特征对所...

【专利技术属性】
技术研发人员：陈英鹏，张朝瑞，刘辰飞，许野平，井焜，
申请(专利权)人：神思电子技术股份有限公司，
类型：发明
国别省市：