一种基于深度学习双流网络的攀爬行为检测方法及系统技术方案

本发明专利技术公开了一种基于深度学习双流网络的攀爬行为检测方法及系统，属于机器视觉对行为识别技术领域，包括以下步骤：S1：目标检测、跟踪并编号；S2：裁剪目标视频片段；S3：随机采样；S4：动作分类。本发明专利技术通过学习得到的分类网络具有很好的鲁棒性，在不同光照、不同天气下也能精准分类，实现复杂条件下的多人行为检测；并对视频进行裁剪，去掉多余的背景信息大幅提高了算法执行效率，利用行人跟踪随机采样的方法使检测效率得到有效提升，值得被推广使用。用。用。

【技术实现步骤摘要】
一种基于深度学习双流网络的攀爬行为检测方法及系统


[0001]本专利技术涉及机器视觉对行为识别
，具体涉及一种基于深度学习双流网络的攀爬行为检测方法及系统。

技术介绍

[0002]攀爬行为检测是智能视频监控领域中的一个重要模块，广泛应用于公共场所的视频监控系统中。攀爬行为检测及时发现人员攀爬围栏围墙行为，自动的发出对应的警告或通知，减少安防人力资源的投入。攀爬行为识别主要解决两个问题，一是检测问题，使用检测器检图像中是否有人；二是识别问题，对人的运动特征进行提取，通过分类器识别出人的行为。
[0003]目前人员攀爬行为检测利用行为识别的方法，根据人体轮廓剪影计算出人体星形骨架特征，然后将骨架特征分类成为行走、攀爬、跨越、下降4种状态，当攀爬、跨越、下降3种状态连续出现的时候，则认为发生了人员翻越围墙的行为。这种方法比较理想，也只能用在仅有一个人的理想环境，在实际应用环境中效果很差。有的利用传统视觉方法提取人的行为特征，用HMM或贝叶斯网络对特征进行建模分类，但是这种方式同样会面临目标遮挡严重、手工设计的行为特征难以提取的问题。也有对运动物体计算光流，然后用HMM或贝叶斯网络对光流进行建模并用分类器进行分析，进而检测一些异常行为，这种全局性的特征适合分析遮挡严重的情况，可以进行借鉴，但是使用光流计算复杂度高，难以做到实时处理。因此，提出一种基于深度学习双流网络的攀爬行为检测方法。

技术实现思路

[0004]本专利技术所要解决的技术问题在于：如何解决人员攀爬行为检测利用行为识别方法存在的应用效果差、计算复杂度高等问题，提供了一种基于深度学习双流网络的攀爬行为检测方法。
[0005]本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括以下步骤：
[0006]S1：目标检测、跟踪并编号
[0007]使用目标检测网络对原始视频进行行人检测，得到行人的检测框；利用检测框和视频的时序信息进行跟踪，得到目标编号；
[0008]S2：裁剪目标视频片段
[0009]根据检测框和目标编号，对原始视频进行裁剪，去除检测框外区域，把每个编号的行人重新保存成一个视频片段；
[0010]S3：随机采样
[0011]针对步骤S2中的每个视频片段，每设定帧数随机采样设定采样帧数，使用稠密光流法计算得到采样帧每个像素的光流信息；
[0012]S4：动作分类
[0013]将各采样帧的彩色图像和光流信息送入攀爬二分类双流网络，对设定帧数进行分
类，确定是否存在攀爬行为。
[0014]更进一步地，在所述步骤S1中，所采用的目标检测网络为YOLO网络，通过YOLO网络同时对视频中多个行人目标进行，用矩形包围框的形式框选出每个行人目标的轮廓区域，作为后续处理候选区域。
[0015]更进一步地，所述步骤S2的具体过程为：
[0016]S21：对步骤S1所得候选区域进行裁剪，以每个区域矩形包围框长或宽的最大值为边长，矩形框的中心点为裁剪中心，裁剪出一个正方形区域，然后调整图像尺寸到设定尺寸；
[0017]S22：根据步骤S1所得行人编号，为每个人建立大小为30的图像缓冲池，将调整尺寸后的图像放入缓冲池中，当图像缓冲达到30张时，进行步骤S3。
[0018]更进一步地，所述缓冲池用于为每个行人目标建立的临时视频存储，与每个行人编号对应，当存储量到达30时，缓冲池内容清空，重新开始新图片的存储，对应行人编号不变。当缓冲池内容长时间得不到更新，说明此缓冲池对应编号的行人已经离开视频监控范围，在超出预设更新时间后，将此缓冲池销毁。
[0019]更进一步地，在所述步骤S3中，稠密光流计算采用Farneback算法，取相邻两帧的图像，将图像视为二维信号的函数，对每个像素点周围设定一个邻域(一般为2n+1的正方形区域)，采用最小二乘法构建灰度值与位置的函数关系式，进而将原有笛卡尔坐标系图像的二维信号空间，转换到其他向量空间，求得两帧之间的像素位移差，得到光流。
[0020]更进一步地，在所述步骤S4中，双流网络的训练过程如下：
[0021]S41：制作用于训练的二分类数据集，提取采集到的视频片段每一帧，按照之前的方法进行行人检测，行人跟踪，裁剪，计算每一帧的光流，按照人工标注的类别保存裁剪后的原始图像和对应位置的光流图像，其中攀爬作为正样本，非攀爬作为负样本；
[0022]S42：随机从正样本库中挑选3张裁剪后的原始帧和对应区域的光流作为正样本，并用相同的方法挑选负样本，送入双流网络进行分类训练，训练完后得到双流网络并保存。
[0023]更进一步地，在所述步骤S4中，所述双流网络的结构如下：
[0024]本专利技术还提供了一种基于深度学习双流网络的攀爬行为检测系统，采用上述的检测方法对攀爬行为进行检测，包括：
[0025]目标检测模块，用于使用目标检测网络对原始视频进行行人检测，得到行人的检测框；利用检测框和视频的时序信息进行跟踪，得到目标编号；
[0026]片段裁剪模块，用于根据检测框和目标编号，对原始视频进行裁剪，去除检测框外区域，把每个编号的行人重新保存成一个视频片段；
[0027]随机采样模块，用于针对每个视频片段，每设定帧数随机采样设定采样帧数，使用稠密光流法计算得到采样帧每个像素的光流信息；
[0028]动作分类模块，用于将各采样帧的彩色图像和光流信息送入攀爬二分类双流网络，对设定帧数进行分类，确定是否存在攀爬行为；
[0029]中央处理模块，用于向其他模块发出指令，完成相关动作；
[0030]所述目标检测模块、片段裁剪模块、随机采样模块、动作分类模块均与中央处理模块电连接。
[0031]本专利技术相比现有技术具有以下优点：该基于深度学习双流网络的攀爬行为检测方
法，通过学习得到的分类网络具有很好的鲁棒性，在不同光照、不同天气下也能精准分类，实现复杂条件下的多人行为检测；并对视频进行裁剪，去掉多余的背景信息大幅提高了算法执行效率，利用行人跟踪随机采样的方法使检测效率得到有效提升，值得被推广使用。
附图说明
[0032]图1是本专利技术实施例二中整体流程示意图；
[0033]图2是本专利技术实施例二中攀爬二分类双流网络对图像缓冲池的分类示意图；
[0034]图3是本专利技术实施例二中TSN双流网络结构图；
[0035]图4a是本专利技术实施例二中空间卷积网络结构图；
[0036]图4b是本专利技术实施例二中时间卷积网络结构图。
具体实施方式
[0037]下面对本专利技术的实施例作详细说明，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0038]本实施例提供一种技术方案：一种基于深度学习双流网络的攀爬行为检测方法，包括以下步骤：
[0039]S1：目标检测、跟踪并编号
[0040]使用目标检测网络对原始视频进行行人检测，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习双流网络的攀爬行为检测方法，其特征在于，包括以下步骤：S1：目标检测、跟踪并编号使用目标检测网络对原始视频进行行人检测，得到行人的检测框；利用检测框和视频的时序信息进行跟踪，得到目标编号；S2：裁剪目标视频片段根据检测框和目标编号，对原始视频进行裁剪，去除检测框外区域，把每个编号的行人重新保存成一个视频片段；S3：随机采样针对步骤S2中的每个视频片段，每设定帧数随机采样设定采样帧数，使用稠密光流法计算得到采样帧每个像素的光流信息；S4：动作分类将各采样帧的彩色图像和光流信息送入攀爬二分类双流网络，对设定帧数进行分类，确定是否存在攀爬行为。2.根据权利要求1所述的一种基于深度学习双流网络的攀爬行为检测方法，其特征在于：在所述步骤S1中，所采用的目标检测网络为YOLO网络，通过YOLO网络同时对视频中多个行人目标进行，用矩形包围框的形式框选出每个行人目标的轮廓区域，作为后续处理候选区域。3.根据权利要求2所述的一种基于深度学习双流网络的攀爬行为检测方法，其特征在于：所述步骤S2的具体过程为：S21：对步骤S1所得候选区域进行裁剪，以每个区域矩形包围框长或宽的最大值为边长，矩形框的中心点为裁剪中心，裁剪出一个正方形区域，然后调整图像尺寸到设定尺寸；S22：根据步骤S1所得行人编号，为每个人建立大小为30的图像缓冲池，将调整尺寸后的图像放入缓冲池中，当图像缓冲达到30张时，进行步骤S3。4.根据权利要求3所述的一种基于深度学习双流网络的攀爬行为检测方法，其特征在于：所述缓冲池用于为每个行人目标建立的临时视频存储，与每个行人编号对应，当存储量到达30时，缓冲池内容清空，重新开始新图片的存储，对应行人编号不变；当缓冲池内容长时间得不到更新，说明此缓冲池对应编号的行人已经离开视频监控范围，在超出预设更新时间后，将此缓冲池销毁。5.根据权利要求1所述的一种...

【专利技术属性】
技术研发人员：张泉，赵曼，刘海峰，任广鑫，张明，季坤，吴迪，甄超，王坤，王刘芳，郑浩，
申请(专利权)人：国网安徽省电力有限公司，
类型：发明
国别省市：