一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法技术

本发明专利技术提供了一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法。本发明专利技术利用传统目标检测算法的思路，对乘坐扶梯的行人进行实时检测。同时，判断目标对象在乘坐扶梯时的行为是否存在异常。如果存在模型所能识别的危险动作，则会发出报警，减少危险事件的发生。本发明专利技术在设计深度卷积神经网络模型时，加入了BatchNormalization和ResNet的技巧，通过不断累加组合设计的“CBR”、“Res_unit”和“Res_n_block”3种网络模块，加深网络的层次，提取更加有效细致的图片信息，更好的理解图片数据。最后，通过两个跳跃连接得到大小不一的特征图，这样能够保证检测到不同大小的实际物体，提高模型的准确率。本发明专利技术提供的技术方案可以对行人乘坐扶梯异常行为达到精确识别判断，并且具有识别效率高、处理速度快的特点。

A Pedestrian Escalator Abnormal Behavior Detection Method Based on Deep Convolution Neural Network

【技术实现步骤摘要】
一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法
本专利技术涉及目标检测领域，特别涉及一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法。
技术介绍
目标检测算法作为图像理解和图像识别的基石，是解决图像分割、场景识别、目标跟踪等高级视觉任务的基础。同时，在人工智能和信息技术等多个领域也具有广泛的应用，包括机器人视觉、无人机监控、安全、自动驾驶、人机交互、基于内容的图像检索、智能视频监控和增强现实等领域。目前，目标检测算法已经在逐步的发展，实时检测的准确率稳步提升。近年来，由于各界的支持，深度学习得到了快速的发展。其中，卷积神经网络作为深度学习的代表，在图像分类、目标检测、图像语义分割等领域取得了一系列突破性的研究成果。而卷积神经网络实现了一种端到端的图像处理模式，减少了人工对于图像的干预，更能细致的理解图像的特征。利用卷积神经网络作为目标检测算法的主体，也是当今比较流行的一种方式。目前，利用卷积神经网络建立的比较成熟的目标检测算法主要有YOLO、FasterR-CNN、R-FCN和SSD等，在实时目标检测领域都取得了很好的效果。
技术实现思路
为了减少频现的行人乘扶梯出现的各种不安全事件，本专利技术提出了一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法，对正在乘扶梯中的行人存在的异常行为进行实时检测并报警。本专利技术所采用的技术方案如下：一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法，包括以下部分：A、采集行人乘坐扶梯数据集，并对数据集进行预处理；B、设计“CBR”、“Res_unit”和“Res_n_block”等三个主要模块，利用这三个模块构建深度卷积神经网络模型，对行人乘扶梯行为进行识别检测，并设计“Warning”报警模块，对检测出的异常行为进行报警提醒；C、构建已设计的深度卷积神经网络异常行为检测模型，并利用采集的数据集进行训练、测试，验证模型的可信性。部分A中，首先，采集行人乘坐扶梯时的行为图片数据，图片类型包括正常行为图片数据和异常行为图片数据。其中，正常行为图片数据包括：行人在乘坐扶梯时，将左手或者右手搭在扶梯上，确保身体呈现稳定状态；异常行为包括：行人乘坐扶梯时，左手或者右手都不搭扶扶梯，或者坐在扶梯护栏上，或者在手扶电梯中跑步等行为。然后，对采集的数据集进行分类、整理。目前将图片中出现的行为分为4类，即：normal，dangerous_1，dangerous_2,dangerous_3。最后，对图片中的行为构建标签数据集。其中，正常行为的标签为normal，左手或者右手都不搭扶在扶梯上的标签是dangerous_1，坐在扶梯护栏上的标签为dangerous_2，在扶梯中跑步的标签为dangerous_3。部分B中，“CBR”是指由一次卷积操作(Convolution)、一次标准化处理(BatchNormalization)和一次激活处理(Relu)组成的基本模块。“Res_unit”是指首先将该单元的初始输入值复制一份到临时变量skip_temp，然后将输入值经过两次“CBR”模块处理，最后将其输出结果与临时变量skip_temp的值相加，得到该单元的最终输出值。“Res_n_block”是指首先将该模块的输入进行一次填充处理，然后，将处理的结果输入到“CBR”模块中，最后经过n个“Res_unit”单元，得到该模块的最终结果。“Warning”模块是指根据检测到的结果进行不同程度的报警处理。整个深度卷积神经网络的行人乘扶梯异常行为检测模型是由“CBR”、“Res_unit”和“Res_n_block”组合得到的。该模型会对输入图片进行细致的特征提取，检测不同大小的目标物体，输出两种不同大小的feature_map。最终，结合两种feature_map，对检测出存在异常行为的数据，经过“Warning”模块发出不同程度的报警，对检测出正常行为的数据，不做处理。部分C中，将采集的整个数据集按照7:2:1的比例分为训练集、验证集和测试集。训练集对设计的模型进行训练，验证集对初始训练好的模型微调超参数，测试集对已调整好的模型进行测试，得到模型在测试集上的准确度。本专利技术提供的技术方案带来的有益效果是：本专利技术通过对设计的3种卷积模块不同方式的组合，并在模块中采用不同规模的超参数，加深了整个模型的层次，避免出现梯度消失或梯度爆炸问题。利用得到的两种不同大小的特征图，能够有效检测到大小不一的实际目标物，提高了模型检测的准确率，加快了模型检测的速度。在模型检测结果之后，加入了报警模块，提醒乘坐扶梯的行人注意危险，减少不安全事件的发生，使得整个模型对于社会安全的意义重大。附图说明为了更清楚地说明本专利技术的技术方案，下面将对
技术实现思路
中所需要使用的附图作简要地介绍。图1为本专利技术的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法的“CBR”详解图；图2为本专利技术的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法的“Res_unit”详解图；图3为本专利技术的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法的“Res_n_block”详解图；图4为本专利技术的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术实施方式作进一步地详细描述。实施例一对于深度卷积神经网络模型具体设计细节包括以下内容：对于feature_map_1，首先，将初始输入图片经过一次“CBR”模块处理，对图像做初步的预处理工作。然后，依次经过Res_1_block、Res_2_block、Res_8_block、Res_8_block模块处理，此时，复制一份输出值，并命名为skip_1。另外，将该输出值依次经过Res_4_block、5次“CBR”模块处理，将此时的输出值复制一份，并命名为skip_2。最后，将上一步的输出值依次经过一次“CBR”、一次卷积操作，得到feature_map_1。对于feature_map_2，首先，获取上述操作的保存值，即skip_1、skip_2。对skip_2经过一次“CBR”，并进行上采样，使之与skip_1的大小相匹配，然后经过一次concat连接处理，将两者沿深度通道合并。最后，将合并值经过6次“CBR”、一次卷积操作处理，得到feature_map_2。综合feature_map_1和feature_map_2，对于检测出异常行为的经过“warning”模块处理，发出不同程度的危险信号，对于正常行为，不作处理。本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法，包括以下部分：A、采集行人乘坐扶梯数据集，并对数据集进行预处理；B、设计“CBR”、“Res_unit”和“Res_n_block”等三个主要模块，利用这三个模块构建深度卷积神经网络模型，对行人乘扶梯行为进行识别检测，并设计“Warning”报警模块，对检测出的异常行为进行报警提醒；C、建立已设计的异常行为检测模型，并利用采集的数据集进行训练、测试，验证模型的可信性。

【技术特征摘要】
1.一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法，包括以下部分：A、采集行人乘坐扶梯数据集，并对数据集进行预处理；B、设计“CBR”、“Res_unit”和“Res_n_block”等三个主要模块，利用这三个模块构建深度卷积神经网络模型，对行人乘扶梯行为进行识别检测，并设计“Warning”报警模块，对检测出的异常行为进行报警提醒；C、建立已设计的异常行为检测模型，并利用采集的数据集进行训练、测试，验证模型的可信性。2.根据权利要求1所述的一种基于深度卷积神经网络的行人乘扶梯异常行为检测方法，其特征在于，所述的部分A中，采集行人乘坐扶梯时的行为图片数据，图片类型包括正常行为图片数据和异常行为图片数据。其中，正常行为图片数据包括：行人在乘坐扶梯时，将左手或者右手搭在扶梯上，确保身体呈现稳定状态；异常行为图片数据包括：行人乘坐扶梯时，左手或者右手都不搭扶扶梯，或者坐在扶梯护栏上，或者在手扶电梯中跑步等行为。然后，对采集的数据集进行预处理。目前将图片中出现的行为分为4类，即：normal，dangerous_1，dangerous_2,dangerous_3。对图片中的行为构建标签数据集，其中，正常行为的标签为normal，左手或者右手都不搭扶在扶梯上的标签是dangerous_1，坐在扶梯护栏上的标签为dangerous_2，在扶梯中跑步的标签为dangerous_3。3.根据权利要求1所述的一种基于脉冲神经...

【专利技术属性】
技术研发人员：庞善臣，乔思波，李铮，尹文静，丁桐，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37