基于信息融合的行人检测方法及其系统技术方案

本申请涉及行人智能检测的领域，其具体地公开了一种基于信息融合的行人检测方法及其系统，其通过基于深度学习的卷积神经网络模型来挖掘出吊运装备现场非安全区域内的视觉传感器获取的监控图像特征和毫米波雷达获取的回波信号特征来综合对区域内的行人进行检测，并且在特征融合的过程中，应用衍生信息超凸度量因数来作为损失函数进行训练以通过特征图在高维空间内的内部元素子维度间的信息度量，来进行高维特征的流形的超凸一致性衍生表示，进而使得这两者的卷积神经网络模型能够对彼此的特征提取能力进行迁移学习，以提高分类的准确性。这样，能够对于吊运装备现场的非安全区域内的行人进行准确地检测，以确保行人的安全。全。全。

【技术实现步骤摘要】
基于信息融合的行人检测方法及其系统


[0001]本申请涉及行人智能检测的领域，且更为具体地，涉及一种基于信息融合的行人检测方法及其系统。

技术介绍

[0002]吊运装备现场频频出现意外伤亡的事件，因此行人检测与定位技术在具体施工项目中需要得到重视。对施工现场的行人进行检测时，需要将行人从复杂多变的施工环境中提取出来，实时获取其位置和运动状态信息以确保行人的安全。
[0003]视觉传感器因具有成本低、图像信息丰富、目标易识别分类等优点而广泛应用于目标检测，但基于视觉的检测方法易受环境(光照、天气、粉尘浓度等)影响，且无法获取目标的准确位置信息；毫米波雷达因所发射的电磁波具有穿透粉尘能力强的特性而用于既定环境下探测障碍物与毫米波雷达的相对距离，但其无法获取目标的几何信息和类别信息。
[0004]因此，为了准确地对于吊运装备现场的非安全区域内的行人进行检测，以确保行人的安全，期望提供一种基于信息融合的行人检测方案。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于信息融合的行人检测方法及其系统，其通过基于深度学习的卷积神经网络模型来挖掘出吊运装备现场非安全区域内的视觉传感器获取的监控图像特征和毫米波雷达获取的回波信号特征来综合对区域内的行人进行检测，并且在特征融合的过程中，应用衍生信息超凸度量因数来作为损失函数进行训练以通过特征图在高维空间内的内部元素子维度间的信息度量，来进行高维特征的流形的超凸一致性衍生表示，进而使得这两者的卷积神经网络模型能够对彼此的特征提取能力进行迁移学习，以提高分类的准确性。这样，能够对于吊运装备现场的非安全区域内的行人进行准确地检测，以确保行人的安全。
[0006]根据本申请的一个方面，提供了一种基于信息融合的行人检测方法，其包括：
[0007]训练阶段，包括：
[0008]通过部署于吊运装备现场的视觉传感器获取监控图像；
[0009]通过部署于所述吊运装备现场的毫米波雷达获取回波信号；
[0010]将所述监控图像通过第一卷积神经网络以获得第一特征图；
[0011]将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；
[0012]融合所述第一特征图和所述第二特征图以获得分类特征图；
[0013]将所述分类特征图通过分类器以获得分类损失函数值；
[0014]计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以
及
[0015]计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及
[0016]推断阶段，包括：
[0017]通过部署于吊运装备现场的视觉传感器获取监控图像；
[0018]通过部署于所述吊运装备现场的毫米波雷达获取回波信号；
[0019]将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；
[0020]将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；
[0021]融合所述第一特征图和所述第二特征图以获得分类特征图；以及将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。
[0022]根据本申请的另一方面，提供了一种基于信息融合的行人检测系统，其包括：
[0023]训练模块，包括：
[0024]监控图像获取单元，用于通过部署于吊运装备现场的视觉传感器获取监控图像；
[0025]回波信号获取单元，用于通过部署于所述吊运装备现场的毫米波雷达获取回波信号；
[0026]第一特征提取单元，用于将所述监控图像通过第一卷积神经网络以获得第一特征图；
[0027]第二特征提取单元，用于将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；
[0028]融合单元，用于融合所述第一特征图和所述第二特征图以获得分类特征图；
[0029]分类损失函数值计算单元，用于将所述分类特征图通过分类器以获得分类损失函数值；
[0030]衍生信息超凸度量因数计算单元，用于计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以及
[0031]训练单元，用于计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及
[0032]推断模块，包括：
[0033]推断图像获取单元，用于通过部署于吊运装备现场的视觉传感器获取监控图像；
[0034]推断信号采集单元，用于通过部署于所述吊运装备现场的毫米波雷达获取回波信号；
[0035]第一特征图生成单元，用于将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；
[0036]第二特征图生成单元，用于将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；
[0037]分类特征图生成单元，用于融合所述第一特征图和所述第二特征图以获得分类特征图；以及
[0038]分类单元，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。
[0039]根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于信息融合的行人检测方法。
[0040]根据本申请提供的基于信息融合的行人检测方法及其系统，其通过基于深度学习的卷积神经网络模型来挖掘出吊运装备现场非安全区域内的视觉传感器获取的监控图像特征和毫米波雷达获取的回波信号特征来综合对区域内的行人进行检测，并且在特征融合的过程中，应用衍生信息超凸度量因数来作为损失函数进行训练以通过特征图在高维空间内的内部元素子维度间的信息度量，来进行高维特征的流形的超凸一致性衍生表示，进而使得这两者的卷积神经网络模型能够对彼此的特征提取能力进行迁移学习，以提高分类的准确性。这样，能够对于吊运装备现场的非安全区域内的行人进行准确地检测，以确保行人的安全。
附图说明
[0041]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息融合的行人检测方法，其特征在于，包括：训练阶段，包括：通过部署于吊运装备现场的视觉传感器获取监控图像；通过部署于所述吊运装备现场的毫米波雷达获取回波信号；将所述监控图像通过第一卷积神经网络以获得第一特征图；将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；融合所述第一特征图和所述第二特征图以获得分类特征图；将所述分类特征图通过分类器以获得分类损失函数值；计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以及计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及推断阶段，包括：通过部署于吊运装备现场的视觉传感器获取监控图像；通过部署于所述吊运装备现场的毫米波雷达获取回波信号；将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；融合所述第一特征图和所述第二特征图以获得分类特征图；以及将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。2.根据权利要求1所述的基于信息融合的行人检测方法，其中，将所述监控图像通过第一卷积神经网络以获得第一特征图，包括：所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；以及对所述池化特征图进行基于非线性激活函数的激活以获得激活特征图。3.根据权利要求2所述的基于信息融合的行人检测方法，其中，将所述监控图像通过第一卷积神经网络以获得第一特征图，包括：从所述第一卷积神经网络的第M层提取第一激活特征图；从所述第一卷积神经网络的最后一层提取第二激活特征图；以及融合所述第一激活特征图和所述第二激活特征图以获得所述第一特征图。4.根据权利要求3所述的基于信息融合的行人检测方法，其中，所述第二卷积神经网络模型为深度可分离卷积神经网络，其中，所述深度可分离卷积神经网络的卷积核为5.根据权利要求4所述的基于信息融合的行人检测方法，其中，将所述分类特征图通过分类器以获得分类损失函数值，包括：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(W
n
,B
n
):
…
:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W1至W
n
为各层全连接层的权重矩阵，B1至B
n
表示各层全连接层的偏置矩阵；以及计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。6.根据权利要求5所述的基于信息融合的行人检测方法，其中，计算所述第一特...

【专利技术属性】
技术研发人员：赵小龙，韩中军，
申请(专利权)人：温州旦光文具有限公司，
类型：发明
国别省市：