基于编解码器结构实现钓鱼行为检测处理的方法及相应的语义分割网络系统技术方案

本发明专利技术涉及一种基于编解码器结构实现钓鱼行为检测处理的方法，包括从视频监控系统中每隔一定时间抓取一幅高清图像并进行9个区块分割和尺寸归一化处理；每个区块图像输入到目标检测神经网络检测是否包含人像；对检测到人像的区块图像输入到编解码结构的语义分割网络进行鱼竿的语义分割检测；判断是否有区块图像检测到像素级分割的鱼竿且与人像的检测框存在重叠；判断是否存在钓鱼行为。本发明专利技术还涉及一种基于编解码器结构的语义分割网络系统。采用了本发明专利技术的基于编解码器结构实现钓鱼行为检测处理的方法及相应的语义分割网络系统，不仅使具有长距离连续形状的强先验空间信息能在高层语义网络层的同层神经元上传播，而且增大了特征图的感受野，进一步增强对长距离上下文信息的捕获。

【技术实现步骤摘要】
基于编解码器结构实现钓鱼行为检测处理的方法及相应的语义分割网络系统
本专利技术涉及图像处理
，尤其涉及深度神经网络
，具体是指一种基于编解码器结构实现钓鱼行为检测处理的方法及相应的语义分割网络系统。
技术介绍
供电部门通常采用在靠近电力线路的水塘边安装视频监控设备，然后对视频监控图像进行智能分析，当图像智能分析系统检测到钓鱼行为时输出告警信号。由于监控摄像头的监控景深、光照条件、监控图像背景复杂等因素，基于常规图像处理技术的智能视频分析系统对钓鱼行为的检测精度往往不高。基于深度神经网络的目标检测技术应用于钓鱼行为检测是目前研究的热点，但是基于长方形边界框(BoundingBox)的目标检测网络如Fast-RCNN、YOLO等深度网络结构比较适合于检测紧凑的目标(如人、车等)，不适合检测边界框中具有低填充率的线状物体。由于钓鱼竿比较细长，在BoundingBox中占有极小的面积，使用Fast-RCNN、YOLO等深度神经网络进行目标检测时，依然不能很好地处理这种外观线索不多的具有强先验结构的目标，其对钓鱼竿的检测精度仍然不高，容易引起漏检和误检。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种满足检测精度高、操作简便、适用范围较为广泛的基于编解码器结构实现钓鱼行为检测处理的方法及相应的语义分割网络系统。为了实现上述目的，本专利技术的基于编解码器结构实现钓鱼行为检测处理的方法及相应的语义分割网络系统如下：该基于编解码器结构实现钓鱼行为检测处理的方法，其主要特点是，所述的方法包括以下步骤：(1)从视频监控系统中每隔一定时间抓取一幅高清图像并进行9个区块分割和尺寸归一化处理；(2)每个区块图像输入到目标检测神经网络检测是否包含人像；(3)对检测到人像的区块图像输入到编解码结构的语义分割网络进行鱼竿的语义分割检测；(4)判断是否有区块图像检测到像素级分割的鱼竿且与人像的检测框存在重叠，如果是，则继续步骤(5)；否则，继续步骤(1)；(5)判断存在的钓鱼行为，继续步骤(1)。较佳地，所述的步骤(1)具体包括以下步骤：(1.1)从视频监控系统中每隔一定时间抓取一幅高清图像，分别按照行列方向进行9个区域的分割；(1.2)将边界分割区域重叠划入相邻区块图像，将分割后的9个区块图像进行尺寸缩放归一化处理。较佳地，所述的步骤(1.2)中统一区块图像大小为512×512像素。较佳地，所述的步骤(2)具体包括以下步骤：(2.1)将每个区块图像输入到目标检测深度神经网络检测是否包含人像，丢弃没有检测到人像的区块图像；(2.2)如果9个区块图像均未检测到人像，则返回步骤(1)继续抓取图像；如果区块图像检测到人像，则记下人像的检测矩形框坐标，继续步骤(3)。较佳地，所述的步骤(3)具体包括以下步骤：(3.1)将检测到人像的区块图像输入到基于编解码结构的语义分割网络，进行鱼竿的语义分割检测；(3.2)判断区块图像是否检测到鱼竿，如果9个区块图像均未检测到鱼竿，则返回步骤(1)继续抓取图像；如果区块图像检测到鱼竿，则输出包含鱼竿的所有像素点坐标，继续步骤(4)。较佳地，所述的步骤(4)具体包括以下步骤：(4.1)对像素级分割出的鱼竿和检测到人像的矩形框进行重叠分析；(4.2)判断落在人像的矩形框内的鱼竿像素点的数目是否大于阈值T，则存在钓鱼行为，继续步骤(5)；否则，没有钓鱼行为，继续判断其余区块图像；(4.3)如果9个区块图像均未检测到钓鱼行为，则整幅图像没有检测到钓鱼行为，返回步骤(1)继续抓取图像进行检测。较佳地，所述的步骤(5)具体为：如果9个区块图像的任一区块图像检测到钓鱼行为，则整幅图像就判断为存在钓鱼行为，检测后继续步骤(1)，继续抓取图像进行检测。该用于实现上述的方法的基于编解码器结构的语义分割网络系统，其主要特点是，所述的系统包括：编码器网络，包括输入层、第一卷积层、第二卷积层、第三卷积层和第四卷积层，所述的输入层、第一卷积层、第二卷积层、第三卷积层和第四卷积层依次相连接，用于从原始图像提取特征；解码器网络，包括空洞卷积层、空间卷积层、第一反卷积层、第二反卷积层和输出层，所述的空洞卷积层、空间卷积层、第一反卷积层、第二反卷积层和输出层依次相连接；所述的空洞卷积层的输入端与第四卷积层的输出端相连接。较佳地，所述的第一卷积层、第二卷积层、第三卷积层和第四卷积层均由卷积核为3×3且步长为1的卷积通过批归一化、ReLU函数变换和最大值池化组成。较佳地，所述的第一卷积层、第二卷积层和第三卷积层的下采样倍数为2，第四卷积层的下采样倍数为1。较佳地，所述的空洞卷积层为卷积核为3×3且扩张率为2的空洞卷积，用于增大特征图感受野。较佳地，所述的空间卷积层对空洞卷积层输出的特征图按通道数分成切片，并对每个切片分别按照特征图行和列进行从上到下、从下到上、从左到右和从右到左的卷积叠加，输出和空洞卷积层一样大小的特征图。较佳地，所述的第一反卷积层采用卷积核为4×4且步长为2的卷积，其输出上采样倍数为2。较佳地，所述的第二反卷积层采用卷积核为16×16且步长为4的卷积，其输出上采样倍数为4。较佳地，所述的输出层经过1×1卷积核的变换后生成原始图像大小的二值语义分割图像，输出像素级的鱼竿二值图像。采用了本专利技术的基于编解码器结构实现钓鱼行为检测处理的方法及相应的语义分割网络系统，将空间卷积神经网络(SpatialCNN)应用于编解码结构的语义分割网络，使得“钓鱼竿”这种具有长距离连续形状的强先验空间信息能够在高层语义网络层的同层神经元上传播，比使用一般的卷积神经网络更能有效地识别“钓鱼竿”这种结构化对象，同时在解码器网络中使用一层空洞卷积层代替一般卷积层，又增大了特征图的感受野，从而进一步增强对长距离上下文信息的捕获。另外针对“钓鱼竿”细长且在图像中面积占比小的特点，如果直接对原始高清图像进行尺寸压缩后再处理极有可能会导致“钓鱼竿”像素点消失，本专利技术将原始高清图像分割成9幅区块图像进行分批检测，进一步减小了对钓鱼行为的漏检。最后本专利技术将检测到的像素级“钓鱼竿”区域与检测到的“人”的矩形框区域进行重叠分析，这样也进一步减小了对钓鱼行为的误检。附图说明图1为本专利技术的基于编解码器结构实现钓鱼行为检测处理的方法的流程图。图2为本专利技术的基于编解码器结构的语义分割网络系统的组成框图。具体实施方式为了能够更清楚地描述本专利技术的
技术实现思路
，下面结合具体实施例来进行进一步的描述。本专利技术的该基于编解码器结构实现钓鱼行为检测处理的方法，其中包括以下步骤：(1)从视频监控系统中每隔一定时间抓取一幅高清图像并进行9个区块分割和尺寸归一化处理；(1.1)从视频监控系统中每隔一定时间抓取一幅高清图像，分别按照行列方向进行本文档来自技高网...

【技术保护点】
1.一种基于编解码器结构实现钓鱼行为检测处理的方法，其特征在于，所述的方法包括以下步骤：/n(1)从视频监控系统中每隔一定时间抓取一幅高清图像并进行9个区块分割和尺寸归一化处理；/n(2)每个区块图像输入到目标检测神经网络检测是否包含人像；/n(3)对检测到人像的区块图像输入到编解码结构的语义分割网络进行鱼竿的语义分割检测；/n(4)判断是否有区块图像检测到像素级分割的鱼竿且与人像的检测框存在重叠，如果是，则继续步骤(5)；否则，继续步骤(1)；/n(5)判断存在的钓鱼行为，继续步骤(1)。/n

【技术特征摘要】
1.一种基于编解码器结构实现钓鱼行为检测处理的方法，其特征在于，所述的方法包括以下步骤：
(1)从视频监控系统中每隔一定时间抓取一幅高清图像并进行9个区块分割和尺寸归一化处理；
(2)每个区块图像输入到目标检测神经网络检测是否包含人像；
(3)对检测到人像的区块图像输入到编解码结构的语义分割网络进行鱼竿的语义分割检测；
(4)判断是否有区块图像检测到像素级分割的鱼竿且与人像的检测框存在重叠，如果是，则继续步骤(5)；否则，继续步骤(1)；
(5)判断存在的钓鱼行为，继续步骤(1)。


2.根据权利要求1所述的基于编解码器结构实现钓鱼行为检测处理的方法，其特征在于，所述的步骤(1)具体包括以下步骤：
(1.1)从视频监控系统中每隔一定时间抓取一幅高清图像，分别按照行列方向进行9个区域的分割；
(1.2)将边界分割区域重叠划入相邻区块图像，将分割后的9个区块图像进行尺寸缩放归一化处理。


3.根据权利要求2所述的基于编解码器结构实现钓鱼行为检测处理的方法，其特征在于，所述的步骤(1.2)中统一区块图像大小为512×512像素。


4.根据权利要求1所述的基于编解码器结构实现钓鱼行为检测处理的方法，其特征在于，所述的步骤(2)具体包括以下步骤：
(2.1)将每个区块图像输入到目标检测深度神经网络检测是否包含人像，丢弃没有检测到人像的区块图像；
(2.2)如果9个区块图像均未检测到人像，则返回步骤(1)继续抓取图像；如果区块图像检测到人像，则记下人像的检测矩形框坐标，继续步骤(3)。


5.根据权利要求1所述的基于编解码器结构实现钓鱼行为检测处理的方法，其特征在于，所述的步骤(3)具体包括以下步骤：
(3.1)将检测到人像的区块图像输入到基于编解码结构的语义分割网络，进行鱼竿的语义分割检测；
(3.2)判断区块图像是否检测到鱼竿，如果9个区块图像均未检测到鱼竿，则返回步骤(1)继续抓取图像；如果区块图像检测到鱼竿，则输出包含鱼竿的所有像素点坐标，继续步骤(4)。


6.根据权利要求1所述的基于编解码器结构实现钓鱼行为检测处理的方法，其特征在于，所述的步骤(4)具体包括以下步骤：
(4.1)对像素级分割出的鱼竿和检测到人像的矩形框进行重叠分析；
(4.2)判断落在人像的矩形框内的鱼竿像素点的数目是否大于阈值T，则存在钓鱼行为，继续步骤(5)；否则，没有钓鱼行为，继续判断其余区块图像；
(4.3)如果9个区块图像均未检测到钓鱼行为，则整幅...

【专利技术属性】
技术研发人员：侯卫东，逯利军，钱培专，李晏，彭浩，
申请(专利权)人：赛特斯信息科技股份有限公司，上海赛特斯信息科技股份有限公司，北京赛特斯信息科技股份有限公司，广东赛特斯信息科技有限公司，
类型：发明
国别省市：江苏;32