异常行为的检测方法及装置、存储介质和电子设备制造方法及图纸

本申请公开了一种异常行为的检测方法及装置、存储介质和电子设备，涉及人工智能技术领域。该方法包括：获取待检测的目标图像，其中，目标图像为目标区域对应的图像，目标区域为金融机构所处的区域；将目标图像输入目标行为检测模型进行检测，输出对目标图像的检测结果，其中，目标行为检测模型为基于历史过程中获取到的可见光图像、红外图像，以及由可见光图像和红外图像融合后形成的图像对原始行为检测模型进行训练得到的模型，检测结果用于表示目标图像中是否存在异常行为。通过本申请，解决了相关技术中检测银行网点中的异常行为的效果较差的问题。的效果较差的问题。的效果较差的问题。

【技术实现步骤摘要】
异常行为的检测方法及装置、存储介质和电子设备


[0001]本申请涉及人工智能
，具体而言，涉及一种异常行为的检测方法及装置、存储介质和电子设备。

技术介绍

[0002]基于深度学习的two
‑
stage目标检测算法和基于候选框的目标检测算法分为两个部分组成：(1)选出候选区域，这部分常用的算法是Selective Search(选择性搜索算法)和Edge Boxes(边缘检测算法)。(2)在候选区域上使用CNN(Convolutional Neural Networks，卷积神经网络)提取特征进行分类。下面主要介绍一下具有代表性的基于候选框的目标检测算法。
[0003]目前，可以使用Selective Search+CNN(卷积神经网络使用选择性搜索算法进行目标检测的意思)代替传统的滑动窗口+手工特征。而且，通过设计R
‑
CNN模型框架，可以得知CNN相比于传统的HOG(Histogram of Oriented Gradient，方向梯度直方图)等手工特征在PASCAL VOC 2007(作为标准数据集，VOC2007是衡量图像分类识别能级的基准)上的目标检测性能有显著的提升。因此，深度学习算法在目标检测领域是有效和高效的。而且，目前有以SPP
‑
Net(Spatial Pyramid Pooling Networks，空间金字塔池化网络)、Fast
‑
RCNN、FasterR
‑
CNN等为代表的two
‑
stage目标检测网络。
[0004]另外，基于深度学习的one
‑
stage目标检测算法和基于候选框的目标检测算法速度提升的关键是将目标检测问题转化为多区域分类问题，且可以充分利用目标在整个图片的上下文信息。对此，目前提出了一种速度比基于候选框的目标检测算法快很多的基于回归的目标检测算法，基于回归的目标检测算法没有候选框生成阶段，而是将图像上所有位置都视为潜在对象去尝试对每个感兴趣的区域进行分类，且代表的算法有YOLO系列和SSD系列。
[0005]但是，相关技术存在以下缺点：
[0006](1)耗费大量的人力物力，不能保证监控效率。同时也会使各类视频监控系统或多或少暴露出各种缺陷，如：报警响应时间长、报警精确度差、报警滞后、误报和漏报现象多、录像数据分析困难等。因此，降低了整个系统的安全性和实用性。
[0007](2)目前主流的目标检测算法都使用可见光图像进行目标识别，而使用可见光图像进行目标识别存在很大的局限性：性能受环境条件影响较大。仅仅通过可见光图像或视频进行识别，容易受到光照变化的影响，在环境光线比较昏暗，以及非均匀照明条件下，识别率会大大降低。
[0008]针对相关技术中检测银行网点中的异常行为的效果较差的问题，目前尚未提出有效的解决方案。

技术实现思路

[0009]本申请的主要目的在于提供一种异常行为的检测方法及装置、存储介质和电子设
备，以解决相关技术中检测银行网点中的异常行为的效果较差的问题。
[0010]为了实现上述目的，根据本申请的一个方面，提供了一种异常行为的检测方法。该方法包括：获取待检测的目标图像，其中，所述目标图像为目标区域对应的图像，所述目标区域为金融机构所处的区域；将所述目标图像输入目标行为检测模型进行检测，输出对所述目标图像的检测结果，其中，所述目标行为检测模型为基于历史过程中获取到的可见光图像、红外图像，以及由所述可见光图像和所述红外图像融合后形成的图像对原始行为检测模型进行训练得到的模型，所述检测结果用于表示所述目标图像中是否存在异常行为。
[0011]进一步地，所述目标行为检测模型通过以下方式得到：获取图像集合，其中，所述图像集合中至少包括N张可见光图像、M张红外图像、S张融合图像，所述融合图像为可见光图像和红外图像融合后的图像，N、M和S均为正整数；采用所述图像集合对所述原始行为检测模型进行学习训练，得到所述目标行为检测模型。
[0012]进一步地，获取图像集合包括：获取所述目标区域对应的可见光视频和所述目标区域对应的红外视频；对所述可见光视频进行抽帧处理，得到T张可见光图像，其中，T大于N，T为正整数；对所述红外视频进行抽帧处理，得到K张红外图像，其中，K小于M，K为正整数；分别确定每张可见光图像的图像熵和每张红外图像的图像熵；依据每张可见光图像的图像熵和每张红外图像的图像熵，计算每张可见光图像的图像熵和每张红外图像的图像熵之间的比值，得到第一比值集合，其中，所述第一比值集合中至少包括U个第一比值，U为正整数；依据所述U个第一比值，确定所述图像集合。
[0013]进一步地，依据所述U个第一比值，确定所述图像集合包括：在所述U个第一比值中存在大于第一预设阈值的比值的情况下，从所述T张可见光图像中获取所述N张可见光图像；在所述U个第一比值中存在小于第二预设阈值的比值的情况下，基于所述K张红外图像确定所述M张红外图像，其中，所述第二预设阈值小于所述第一预设阈值；在所述U个第一比值中存在大于所述第二预设阈值，且小于所述第一预设阈值的比值的情况下，基于所述T张可见光图像和所述K张红外图像确定所述S张融合图像；对所述N张可见光图像、所述M张红外图像和所述S张融合图像进行汇总处理，得到所述图像集合。
[0014]进一步地，在所述U个第一比值中存在小于第二预设阈值的比值的情况下，基于所述K张红外图像确定所述M张红外图像包括：在所述U个第一比值中存在小于第二预设阈值的比值的情况下，从所述K张红外图像中获取X张红外图像，其中，X小于K，X为正整数；对所述X张红外图像进行预处理，得到P张预处理后的红外图像，其中，P大于X，P为正整数；将所述P张预处理后的红外图像作为所述M张红外图像。
[0015]进一步地，对所述X张红外图像进行预处理，得到P张预处理后的红外图像包括：对所述X张红外图像进行同态滤波处理，得到X张同态滤波处理后的红外图像；对所述X张红外图像进行直方图均衡处理，得到X张直方图均衡处理后的红外图像；对所述X张同态滤波处理后的红外图像和所述X张直方图均衡处理后的红外图像进行汇总处理，得到所述P张预处理后的红外图像。
[0016]进一步地，对所述X张红外图像进行同态滤波处理，得到X张同态滤波处理后的红外图像包括：对所述X张红外图像进行对数变换处理，得到X张对数变换处理后的红外图像；对所述X张对数变换处理后的红外图像进行傅里叶变换处理，得到X张傅里叶变换处理后的红外图像；对所述X张傅里叶变换处理后的红外图像进行滤波处理，得到X张滤波处理后的
红外图像；对所述X张滤波处理后的红外图像进行傅里叶逆变换处理，得到所述X张同态滤波处理后的红外图像。
[0017]进一步地，对所述X张红外图像进行直方图均衡处理，得到X张直方图均衡处理后的红外图像包括：获取所述X张红外图像中每张红外图像的信噪比；获取每张红外图像中每张子图像的信噪比；计算每张红外图像的信噪比本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常行为的检测方法，其特征在于，包括：获取待检测的目标图像，其中，所述目标图像为目标区域对应的图像，所述目标区域为金融机构所处的区域；将所述目标图像输入目标行为检测模型进行检测，输出对所述目标图像的检测结果，其中，所述目标行为检测模型为基于历史过程中获取到的可见光图像、红外图像，以及由所述可见光图像和所述红外图像融合后形成的图像对原始行为检测模型进行训练得到的模型，所述检测结果用于表示所述目标图像中是否存在异常行为。2.根据权利要求1所述的方法，其特征在于，所述目标行为检测模型通过以下方式得到：获取图像集合，其中，所述图像集合中至少包括N张可见光图像、M张红外图像、S张融合图像，所述融合图像为可见光图像和红外图像融合后的图像，N、M和S均为正整数；采用所述图像集合对所述原始行为检测模型进行学习训练，得到所述目标行为检测模型。3.根据权利要求2所述的方法，其特征在于，获取图像集合包括：获取所述目标区域对应的可见光视频和所述目标区域对应的红外视频；对所述可见光视频进行抽帧处理，得到T张可见光图像，其中，T大于N，T为正整数；对所述红外视频进行抽帧处理，得到K张红外图像，其中，K小于M，K为正整数；分别确定每张可见光图像的图像熵和每张红外图像的图像熵；依据每张可见光图像的图像熵和每张红外图像的图像熵，计算每张可见光图像的图像熵和每张红外图像的图像熵之间的比值，得到第一比值集合，其中，所述第一比值集合中至少包括U个第一比值，U为正整数；依据所述U个第一比值，确定所述图像集合。4.根据权利要求3所述的方法，其特征在于，依据所述U个第一比值，确定所述图像集合包括：在所述U个第一比值中存在大于第一预设阈值的比值的情况下，从所述T张可见光图像中获取所述N张可见光图像；在所述U个第一比值中存在小于第二预设阈值的比值的情况下，基于所述K张红外图像确定所述M张红外图像，其中，所述第二预设阈值小于所述第一预设阈值；在所述U个第一比值中存在大于所述第二预设阈值，且小于所述第一预设阈值的比值的情况下，基于所述T张可见光图像和所述K张红外图像确定所述S张融合图像；对所述N张可见光图像、所述M张红外图像和所述S张融合图像进行汇总处理，得到所述图像集合。5.根据权利要求4所述的方法，其特征在于，在所述U个第一比值中存在小于第二预设阈值的比值的情况下，基于所述K张红外图像确定所述M张红外图像包括：在所述U个第一比值中存在小于第二预设阈值的比值的情况下，从所述K张红外图像中获取X张红外图像，其中，X小于K，X为正整数；对所述X张红外图像进行预处理，得到P张预处理后的红外图像，其中，P大于X，P为正整数；将所述P张预处理后的红外图像作为所述M张红外图像。
6.根据权利要求5所述的方法，其特征在于，对所述X张红外图像进行预处理，得到P张预处理后的红外图像包括：对所述X张红外图像进行同态滤波处理，得到X张同态滤波处理后的红外图像；对所述X张红外图像进行直方图均衡处理，得到X张直方图均衡处理后的红外图像；对所述X张同态滤波处理后的红外图像和所述X张直方图均衡处理后的红外图像进行汇总处理，得到所述P张预处理后的红外图像。7.根据权利要求6所述的方法，其特征在于，对所述X张红外图像进行同态滤波处理，得到X张同态滤波处理后的红外图像包括：对所述X张红外图像进行对数变换处理，得到X张对数变换处理后的红外图像；对所述X张对数变换处理后的红外图像进行傅里叶变换处理，得到X张傅里叶变换处理后的红外图像；对所述X张傅里叶变换处理后的红外图像进行滤波处理，得到X张滤波处理后的红外图像；对所述X张滤波处理后的红外图像进行傅里叶逆变换处理，得到所述X张同态滤波处理后的红外图像。8.根据权利要求6所述的方法，其特征在于，对所述X张红...

【专利技术属性】
技术研发人员：张汝榛，王婧，陈敬谊，姜铁民，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：