基于人工智能的图像数据处理系统及其方法技术方案

本申请涉及图像数据处理领域，其具体地公开了一种基于人工智能的图像数据处理系统及其方法，其通过综合利用小区各用户面部图像和监控视频的数据，提取面部特征和目标特征，结合图像处理、特征提取和分类技术，将它们进行计算和对比，可以判断是否存在异常人员，以便及时采取措施处理，提高监控视频系统的主动性。性。性。

【技术实现步骤摘要】
基于人工智能的图像数据处理系统及其方法


[0001]本申请图像数据处理领域，且更为具体地，涉及一种基于人工智能的图像数据处理系统及其方法。

技术介绍

[0002]视频监控系统是小区技防体系的核心，它能够直观的在大屏幕上显示小区各个重点区域的影像，也可以对画面进行长时间存储和回放。保安人员通过它，足不出户就能够了解小区的人员、设备和交通等的运行状况，做到及时发现和制止犯罪行为，预防事故发生，这对保障小区居民的人身财产安全具有重大意义。
[0003]现在的小区面积大、周界长、建筑物分散、人员车辆出入频繁，本身监控范围较大，而现在小区通常采用门卫把守对出入客通过登记的方式进行记录，当异常人员通过其他方式进出小区时，小区对这类人员无法做到信息采集，而视频监控只能留下相应视频资料，当异常人员侵犯小区及其业主人身和财产安全后，相应人员只能通过返回查看视频录像以及结合走访询问来调查事情始末，使得视频监控系统的功能性较为被动。
[0004]因此，期待一种基于人工智能的图像数据处理系统及其方法，对异常人员进入小区进行提示，提高视频监控系统的主动性。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请实施例提供了一种基于人工智能的图像数据处理系统及其方法，其通过综合利用小区各用户面部图像和监控视频的数据，提取面部特征和目标特征，结合图像处理、特征提取和分类技术，将它们进行计算和对比，可以判断是否存在异常人员，以便及时采取措施处理，提高监控视频系统的主动性。
[0006]根据本申请的一个方面，提供了一种基于人工智能的图像数据处理系统及其方法，其包括：
[0007]数据采集模块，用于采集各用户的面部图像，以及通过摄像头获取的监控视频；
[0008]图像处理模块，用于将所述采集的用户面部图像通过使用空间注意力机制的第一卷积神经网络模型获取多个面部图像特征图；
[0009]池化模块，用于将所述多个面部图像特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到多个面部图像特征向量，并将所述多个面部图像特征向量按时间顺序排列为面部特征矩阵；
[0010]目标监测模块，用于从所述监控视频提取多个关键帧，然后将所述多个关键帧分别通过基于无锚窗的目标检测网络得到多个目标对象感兴趣区域图；
[0011]目标提取模块，用于将所述多个目标对象感兴趣区域图通过二维卷积神经网络模型以得到跟踪特征图，并将所述跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到跟踪特征向量；
[0012]查询模块，用于计算所述面部特征矩阵和跟踪特征向量的矩阵乘积得到分类特征
向量；
[0013]优化模块，对所述分类特征向量和所述跟踪特征向量进行仿射子空间概率化以得到优化分类特征向量；
[0014]异常检测模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否存在异常人员，并向工作人员或业主发出警报信号。
[0015]在上述基于人工智能的图像数据处理系统中，所述图像处理模块，包括：卷积编码单元，用于将所述多个用户的面部图像中各个用户的面部图像分别通过所述第一卷积神经网络的卷积编码部分以得到多个高维特征图；空间注意力单元，用于将所述多个高维特征图中各个高维特征图分别输入所述第一卷积神经网络的空间注意力部分以得到多个空间注意图；注意力施加单元，用于分别计算所述多个空间注意图和所述多个高维特征图中每组对应的所述空间注意力图和所述高维特征图之间的按位置点乘以得到所述多个面部图像特征。
[0016]在上述基于人工智能的图像数据处理系统中，所述特征提取模块，包括：将所述多个面部图像特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到多个面部图像特征向量，并将所述多个面部图像特征向量按时间顺序排列为面部特征矩阵。
[0017]在上述基于人工智能的图像数据处理系统中，所述目标监测模块，包括：多层卷积层单元，将所述多个关键帧中各个关键帧分别通过多层卷积层以得到多个浅层特征图；无锚窗检测单元，将所述多个浅层特征图分别通过所述基于无锚窗的目标检测网络以得到所述多个目标对象感兴趣区域图。
[0018]在上述基于人工智能的图像数据处理系统中，在所述多层卷积层单元，其特征在于：所述多层卷积层包括N层卷积层，所述N大于等于1且小于6；所述多层卷积层的多层在层的正向传递中对输入数据分别进行基于二维卷积核的卷积处理、池化处理和非线性激活处理以由所述多层卷积层的最后一个卷积层输出所述浅层特征图；所述多层卷积层中各层使用的非线性激活函数为Mish激活函数。
[0019]在上述基于人工智能的图像数据处理系统中，所述目标提取模块，其特征在于：将所述多个目标对象感兴趣区域图排列成三维张量通过二维卷积神经网络模型以得到跟踪特征图，并将所述跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到跟踪特征向量，包括：将所述二维卷积神经网络的各层在层的正向传递中对输入数据分别进行基于二维卷积核的卷积处理、池化处理和非线性激活处理以由所述二维卷积核的最后一层输出所述跟踪特征图。
[0020]在上述基于人工智能的图像数据处理系统中，所述查询模块，用于：以如下公式计算所述跟踪特征向量与所述面部特征矩阵之间的矩阵乘积以得到所述分类特征向量；其中，所述公式为：
[0021][0022]其中V1表示所述分类特征向量，V2表示所述跟踪特征向量，M表示所述面部特征矩阵，表示矩阵乘法。
[0023]在上述基于人工智能的图像数据处理系统中，所述优化模块，包括：标准化子单元，对所述分类特征向量和所述跟踪特征向量进行标准化处理以得到标准化分类特征向量和标准化跟踪特征向量；计算协方差子单元，计算所述标准化分类特征向量和所述标准化
跟踪特征向量之间的协方差矩阵；特征值分解子单元，对所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征值向量；提取特征值子单元，从所述多个特征向量中提取前两个最大的特征值对应的特征值向量作为第一维度特征向量和第二维度特征向量，所述第一维度特征向量和所述第二维度特征向量作为仿射子空间的基；排列向量子单元，将所述第一维度特征向量和所述第二维度特征向量按照列向量进行排列为以得到仿射子空间矩阵；关联子单元，将所述分类特征向量和所述跟踪特征向量分别与所述仿射子空间矩阵进行矩阵相乘以将所述分类特征向量和所述跟踪特征向量分别映射到所述仿射子空间矩阵以得到类仿射变换分类特征向量和类仿射变换跟踪特征向量；按位置点加子单元，计算所述类仿射变换分类特征向量和所述类仿射变换跟踪特征向量的转置向量之间的按位置点加以得到所述优化分类特征向量。
[0024]在上述基于人工智能的图像数据处理系统中，所述异常检测模块，包括：全连接编码单元，用于使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到全连接编码特征向量；概率获得单元，用于将所述全连接编码特征向量通过所述分类器的Softmax分类函数以得到存在异常人员的风险的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的图像数据处理系统，其特征在于，包括：数据采集模块，用于采集各用户的面部图像，以及通过摄像头获取的监控视频；图像处理模块，用于将所述采集的用户面部图像通过使用空间注意力机制的第一卷积神经网络模型获取多个面部图像特征图；池化模块，用于将所述多个面部图像特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到多个面部图像特征向量，并将所述多个面部图像特征向量按时间顺序排列为面部特征矩阵；目标监测模块，用于从所述监控视频提取多个关键帧，然后将所述多个关键帧分别通过基于无锚窗的目标检测网络得到多个目标对象感兴趣区域图；目标提取模块，用于将所述多个目标对象感兴趣区域图排列成三维张量通过二维卷积神经网络模型以得到跟踪特征图，并将所述跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到跟踪特征向量；查询模块，用于计算所述面部特征矩阵和所述跟踪特征向量的矩阵乘积得到分类特征向量；优化模块，对所述分类特征向量和所述跟踪特征向量进行仿射子空间概率化以得到优化分类特征向量；异常检测模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否存在异常人员，并向工作人员或业主发出警报信号。2.根据权利要求1所述的基于人工智能的图像数据处理系统，其中，所述图像处理模块，包括：卷积编码单元，用于将所述多个用户的面部图像中各个用户的面部图像分别通过所述第一卷积神经网络的卷积编码部分以得到多个高维特征图；空间注意力单元，用于将所述多个高维特征图中各个高维特征图分别输入所述第一卷积神经网络的空间注意力部分以得到多个空间注意图；注意力施加单元，用于分别计算所述多个空间注意图和所述多个高维特征图中每组对应的所述空间注意力图和所述高维特征图之间的按位置点乘以得到所述多个面部图像特征。3.根据权利要求2所述的基于人工智能的图像数据处理系统，其中，所述目标监测模块，包括：多层卷积层单元，用于将所述多个关键帧中各个关键帧分别通过多层卷积层以得到多个浅层特征图；无锚窗检测单元，用于将所述多个浅层特征图分别通过所述基于无锚窗的目标检测网络以得到所述多个目标对象感兴趣区域图。4.根据权利要求3所述的基于人工智能的图像数据处理系统，其中，所述多层卷积层单元，其特征在于：所述多层卷积层包括N层卷积层，所述N大于等于1且小于6；所述多层卷积层的多层在层的正向传递中对输入数据分别进行基于二维卷积核的卷积处理、池化处理和非线性激活处理以由所述多层卷积层的最后一个卷积层输出所述浅层特征图；
所述多层卷积层中各层使用的非线性激活函数为Mish激活函数。5.根究权利要求4所述的基于人工智能的图像数据处理系统，其中，所述目标提取模块，其特征在于：将所述多个目标对象感兴趣区域图排列成三维张量通过二维卷积神经网络模型以得到跟踪特征图，并将所述跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到跟踪特征向量，包括：将所述二维卷积神经网络的各层在层的正向传递中对输入数据分别进行基于二维卷积核的卷积处理、池化处理和非线性激活处理以由所述二维卷积核的最后一层输出所述跟踪特征图。6.根究权利要求5所述的基于人工智能的图像数据处理系统，其中，所述查询模块，用于：以如下公式计算所述跟踪特征向量与所述面部特征矩阵之间的矩阵乘积以得到所述分类特征向量；其中，所述公式为：其中V1表示所述分类特征向量，V2表示所述跟踪特征向量，M表示所述面部特...

【专利技术属性】
技术研发人员：吴学凯，吴佳峰，吕珏，徐雪梅，
申请(专利权)人：海宁市昕宸网络技术有限公司，
类型：发明
国别省市：