一种基于多传感器融合的灾害环境人体目标检测方法技术

本发明专利技术公开了一种基于多传感器融合的灾害环境人体目标检测方法，充分利用三种传感器融合的优势来实现人体目标检测任务。首先对可见光图像、红外图像进行预处理以及图像配准；其次将可见光图像的特征融合到红外图像上得到红外增强图像，并进一步处理得到显著目标图像；接着将红外摄像头和三维激光雷达进行联合标定；然后基于联合标定建立的对应关系，获得三维增强点云；最后采用点云语义分割神经网络模型对三维增强点云进行语义分割以实现人体目标的检测。本发明专利技术提升了人体目标检测的精度，证明了一种基于多传感器融合的灾害环境人体目标检测方法的实用性，能够为灾害条件下进行人体目标检测提供参考和帮助。行人体目标检测提供参考和帮助。行人体目标检测提供参考和帮助。

【技术实现步骤摘要】
一种基于多传感器融合的灾害环境人体目标检测方法


[0001]本专利技术属于无人系统及自主机器人的多传感器环境感知
，特别涉及一种基于多传感器融合的灾害环境人体目标检测方法。

技术介绍

[0002]随着无人系统及自主机器人技术的快速发展，单纯的依靠三维激光雷达或视觉传感器(可见光摄像头和红外摄像头等)已经难以完成无人系统及自主机器人在复杂环境中的自主感知与场景理解工作。因此，在不同的搜救环境下各种传感器的检测性能和鲁棒性不同，利用多种传感器完成灾情环境感知与人体目标识别的任务，可以拥有更高的精度和鲁棒性。
[0003]现有技术中，基于激光雷达的主动成像技术具有空间分辨率高、可获取物体的三维特征信息等优势，但由于目标表面反射效果不同，反射角和遮挡等会对测试数据带来很大的影响；红外成像主要取决于被测目标辐射特性，受光照强度、照射角度、遮蔽等对目标检测结果影响小，对外部环境具有更好的鲁棒性，但其空间分辨率低以及缺少空间距离信息；可见光成像的分辨率、对比度、纹理细节等视觉感知效果都较红外成像更好，但其受光照影响大，并且同红外成像一样依然具有二维图像的空间分辨率低以及缺少空间距离信息等固有缺陷。
[0004]由于传感器性质的互补，使得在单一传感器下无法完成的任务，可以在多传感器组合下完成，但是对于三维激光雷达、红外摄像头和可见光摄像头这几种常用的传感器，现有技术使用这三种传感器进行人体目标检测的检测精度较低，如何有效利用它们的优势来进行精确且鲁棒的人体目标检测和语义分割是目前亟待解决的问题。
专利技术内容
[0005]为了克服现有技术中存在的不足，本专利技术提供了一种基于多传感器融合的灾害环境人体目标检测方法。通过红外图像、可见光图像以及红外图像和三维激光雷达联合标定来将三种传感器的信息进行融合；同时通过三维增强点云，使得点云中的人物特征更加明显；并且采用了三维增强点云强度特征的相关表示组，以更好描述点云；以及融合下采样方法来聚合点云特征，以提升网络的人体目标检测精度，最终构建了点云语义分割的神经网络，克服了现有方法中使用这三种传感器进行人体目标检测的检测精度较低的缺陷。
[0006]本专利技术的技术方案为：
[0007]一种基于多传感器融合的灾害环境人体目标检测方法，包括步骤如下：
[0008]步骤1，将传感器采集的图像输入，并对输入图像进行预处理，具体包括：对输入的红外图像进行锐化处理，同时对输入的可见光图像进行降采样和灰度化处理；
[0009]步骤2，对所述预处理后的红外图像和可见光图像进行图像配准；
[0010]步骤3，根据所述图像配准的结果，将可见光图像的特征融合到红外图像上以获得红外增强图像，然后进一步对红外增强图像进行处理获得显著目标图像；
[0011]步骤4，对红外摄像头和三维激光雷达进行联合标定，获得红外图像的像素和三维激光雷达点云的三维直角坐标之间的映射关系；
[0012]步骤5，根据所述红外图像的像素和三维激光雷达点云的三维直角坐标之间的映射关系，通过显著目标图像中像素点的灰度值及三维激光雷达点云的强度值，增强所述像素点对应点云中点的强度值，获得三维增强点云；
[0013]步骤6，使用三维增强点云的空间直角坐标及强度特征的相关表示组对三维增强点云进行特征描述；
[0014]步骤7，将三维增强点云空间直角坐标及强度特征的相关表示组输入点云语义分割神经网络模型中，对所述三维增强点云进行点云语义分割，为每一个点生成语义标签，最后实现人体目标检测。
[0015]进一步地，所述步骤1中对输入的红外图像进行Laplace算子锐化处理。
[0016]进一步地，所述步骤2中红外图像和可见光图像的图像配准操作，具体过程如下：
[0017]步骤2.1，对可见光图像和红外图像用Canny算子进行边缘检测，分别得到可见光图像和红外图像的Canny边缘图；
[0018]步骤2.2，对可见光图像和红外图像的Canny边缘图分别做ORB特征点检测，并进行特征点初步配对，接着对初步配对结果做RANSAC提纯，获得准确的可见光和红外图像之间的变换关系；
[0019]步骤2.3，通过所述变换关系完成可见光和红外图像之间的图像配准。
[0020]进一步地，所述步骤3中获得红外增强图像以及显著目标图像的具体过程如下：
[0021]步骤3.1，通过小波变换将所述图像配准后的可见光图像的特征融合到所述图像配准后的红外图像上，获得红外增强图像I
irp
(u,v)，其中u,v＞0；
[0022]步骤3.2，获取红外增强图像的显著图S(u,v)，依据像素点之间的灰度对比度，将像素点与图像中所有像素点的灰度值距离之和作为所述像素点的显著值，定义s
k
为显著图S(u,v)中的像素点，s
k
的显著值表示为SalS(S
k
)，如公式(1)所示：
[0023][0024]其中，s
j
为S(u,v)上的任一像素，Gray(s
*
)表示像素点s
*
的灰度值，F
m
表示像素点s
m
的频率，N
s
表示像素点S(u,v)的像素总数；
[0025]对有Gray(s
k
)＝SalS(s
k
)，令S(u,v)的灰度均值为avg
S
，大于avg
S
置1，小于avg
S
置0，则可得到S(u,v)的二值化掩膜图mask1(u,v)，将红外增强图像I
irp
(u,v)与mask1(u,v)做哈达玛积可得到子图像Sub1(u,v)，如公式(2)所示：
[0026]Sub1(u,v)＝I
irp
(u,v)
⊙
mask1(u,v)
ꢀꢀ
(2)
[0027]步骤3.3，采用参数化的伽马校正，实现背景与前景的分离；
[0028]为了进一步减小背景的影响，实现背景与前景的分离，采用参数化的伽马校正，记Sub1(u,v)的平均灰度为则对于Sub1(u,v)上某一像素点sub1(k)有灰度阈值
且小于阈值的像素点将被调亮，大于阈值的像素点将被调暗，得到子图像Sub2(u,v)，对Sub2(u,v)上的某一像素点sub2(k)的伽马校正表示如公式(3)所示：
[0029][0030]其中，γ1,γ2为伽马校正参数且有γ1≤1以及γ2＞1，ε为防止底数为0的补偿系数；
[0031]从而可将上式重新表示为公式(4)：
[0032][0033]其中a,b,c,d为待定系数；
[0034]步骤3.4，对Sub2(u,v)进行二值化掩膜，可得Sub2(u,v)的二值化掩膜图，记为mask2(u,v)，将mask2(u,v)与Sub1(u,v)做哈达玛积获得最终的显著目标图像I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器融合的灾害环境人体目标检测方法，包括步骤如下：步骤1，将传感器采集的图像输入，并对输入图像进行预处理，具体包括：对输入的红外图像进行锐化处理，同时对输入的可见光图像进行降采样和灰度化处理；步骤2，对所述预处理后的红外图像和可见光图像进行图像配准；步骤3，根据所述图像配准的结果，将可见光图像的特征融合到红外图像上以获得红外增强图像，然后进一步对红外增强图像进行处理获得显著目标图像；步骤4，对红外摄像头和三维激光雷达进行联合标定，获得红外图像的像素和三维激光雷达点云的三维直角坐标之间的映射关系；步骤5，根据所述红外图像的像素和三维激光雷达点云的三维直角坐标之间的映射关系，通过显著目标图像中像素点的灰度值及三维激光雷达点云的强度值，增强所述像素点对应点云中点的强度值，获得三维增强点云；步骤6，使用三维增强点云的空间直角坐标及强度特征的相关表示组对三维增强点云进行特征描述；步骤7，将三维增强点云的空间直角坐标及强度特征的相关表示组输入点云语义分割神经网络模型中，对所述三维增强点云进行点云语义分割，为每一个点生成语义标签，最后实现人体目标检测。2.根据权利要求1所述一种基于多传感器融合的灾害环境人体目标检测方法，其特征在于，所述步骤1中对输入的红外图像进行Laplace算子锐化处理。3.根据权利要求1所述一种基于多传感器融合的灾害环境人体目标检测方法，其特征在于，所述步骤2中红外图像和可见光图像的图像配准操作，具体过程如下：步骤2.1，对可见光图像和红外图像用Canny算子进行边缘检测，分别得到可见光图像和红外图像的Canny边缘图；步骤2.2，对可见光图像和红外图像的Canny边缘图分别做ORB特征点检测，并进行特征点初步配对，接着对初步配对结果做RANSAC提纯，获得准确的可见光和红外图像之间的变换关系；步骤2.3，通过所述变换关系完成可见光和红外图像之间的图像配准。4.根据权利要求1所述一种基于多传感器融合的灾害环境人体目标检测方法，其特征在于，所述步骤3中获得红外增强图像以及显著目标图像的具体过程如下：步骤3.1，通过小波变换将所述图像配准后的可见光图像的特征融合到所述图像配准后的红外图像上，获得红外增强图像I
irp
(u,v)，其中u,v＞0；步骤3.2，获取红外增强图像的显著图S(u,v)，依据像素点之间的灰度对比度，将像素点与图像中所有像素点的灰度值距离之和作为所述像素点的显著值，定义s
k
为显著图S(u,v)中的像素点，s
k
的显著值表示为SalS(S
k
)：
其中，s
j
为S(u,v)上的任一像素，Gray(s
*
)表示像素点s
*
的灰度值，F
m
表示像素点s
m
的频率，N
s
表示像素点S(u,v)的像素总数；对有Gray(s
k
)＝SalS(s
k
)，令S(u,v)的灰度均值为avg
S
，大于avg
S
置1，小于avg
S
置0，得到S(u,v)的二值化掩膜图mask1(u,v)，将红外增强图像I
irp
(u,v)与mask1(u,v)做哈达玛积可得到子图像Sub1(u,v)，其公式表示为：Sub1(u,v)＝I
irp
(u,v)
⊙
mask1(u,v)步骤3.3，采用参数化的伽马校正，实现背景与前景的分离；记Sub1(u,v)的平均灰度为则对于Sub1(u,v)上某一像素点sub1(k)有灰度阈值且小于阈值的像素点将被调亮，大于阈值的像素点将被调暗，得到子图像Sub2(u,v)，对Sub2(u,v)上的某一像素点sub2(k)的伽马校正表示如下：其中，γ1,γ2为伽马校正参数且有γ1≤1以及γ2＞1，ε为防止底数为0的补偿系数；从而将上式重新表示为：其中a,b,c,d为待定系数；步骤3.4，对Sub2(u,v)进行二值化掩膜，得到Sub2(u,v)的二值化掩膜图，记为mask2(u,v)，将mask2(u,v)与Sub1(u,v)做哈达玛积获得最终的显著目标图像I
irt
(u,v)，表示为：I
irt
(u,v)＝Sub1(u,v)
⊙
mask2(u,v)5.根据权利要求1所述一种基于多传感器融合的灾害环境人体目标检测方法，其特征在于，所述步骤5中获得三维增强点云的具体过程如下：步骤5.1，对某场景下的一帧点云P
o
，构建以(x,y,z)为结点的K
‑
D树，从而得到P
o
中任一点p
o
的半径Δr内邻域点集为其中，||D
km
||2表示点p
k
到点p
m
的欧氏距离；步骤5.2，定义联合标定后显著目标图像映射到三维激光雷达点云上的点集为P
uv
,对于存在P
uv
中的某点p
k
，其邻域点集为定义Γ
k
为p
k
对于P
uv
的有效集，表示如下：其中，th
p
为邻域点数的阈值，Φ为空集，crad(.)...

【专利技术属性】
技术研发人员：闫飞，黄响潮，庄严，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：