本发明专利技术提供的一种基于多级协同的多源遥感图像融合及目标感知方法与装置，通过获取同一地理位置的原始异源图像；采用多元融合方法将原始异源图像进行融合，之后作为输入图像输入训练好的目标检测模型，以进行目标检测，得到包含目标感知框的输出图像；以目标感知框中心点之间的距离与目标感知框中心点至边界的最近距离为约束，判断是否对目标感知框进行决策，进而判断标注的目标是否为可信目标，在可见光图像中标注出来。本发明专利技术使用不同的融合算法对原始异源图像进行处理，能够增强图像中目标的特征，丰富图像中的场景信息；学习融合后图像的空谱特征，提高目标感知精度；再对输出结果进行投票机制的决策以确定可信目标，从而使目标感知精度进一步提高。使目标感知精度进一步提高。使目标感知精度进一步提高。
【技术实现步骤摘要】
基于多级协同的多源遥感图像融合及目标感知方法及装置
[0001]本专利技术属于遥感图像处理技术及图像目标检测
，具体涉及一种基于多级协同的多源遥感图像融合及目标感知方法及装置。
技术介绍
[0002]遥感图像主要指各种记录地物电磁波大小的胶片(或相片)，如航空像片和卫星相片。其含丰富的特征，如光谱特征、空间特征、纹理特征等。通过合理针对不同的目标图像进行处理，可将其运用到不同的领域，如土地覆盖监测、森林覆盖监测、土地变化监测等领域。图像融合是一种增强技术，对同一场景下不同传感器获得的图像进行处理，获得一幅信息更丰富的图像，便于后续处理等。红外图像是通过“测量”物体向外辐射的热量而获得的。因为红外图像是灰度图像，具有图像分辨低、对比度低、信噪比低、图像质量差等特点，因此视觉效果模糊、信息量少。而可见光图像有较高的空间分辨率和丰富的场景信息，但目标特征不突出。故单一使用以上两种中任何一种数据，目标感知效果都将不理想。因此，研究通过融合两种数据，充分利用两种数据特征信息进行目标感知具有巨大的实际应用价值。
[0003]目前，实现红外与可见光图像常用基于像素级的融合方法像素级图像融合是最低层次的融合，但其可以充分利用输入数据。它是通过直接处理初始数据信息而不进行特征提取和分类，目的是融合为相较之前信息更加丰富的信息的图像。相较于红外与可见光图像融合的方法，全色与多光谱图像融合方法发展较快，因此较多而全面。最简单的融合方法是基于权重的像素级融合，但该方法可能会降低图像之间对比度，融合效果差。基于传统变换域的像素级融合，如HIS、PCA等方法，通过用红外图像替换可见光图像的强度或第一主成分，这可能会使融合后的图像产生明显的色彩失真的现象，进而影响接下来的目标感知精度。
技术实现思路
[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于多级协同的多源遥感图像融合及目标感知方法及装置。本专利技术要解决的技术问题通过以下技术方案实现：
[0005]第一方面，本专利技术提供的一种基于多级协同的多源遥感图像融合及目标感知方法包括：
[0006]步骤1：获取同一地理位置的原始异源图像；
[0007]其中，所述原始异源图像包括红外图像以及可见光图像；
[0008]步骤2：采用多元融合方法将所述红外图像以及所述可见光图像进行融合，获得每种融合方法融合下的融合图像；
[0009]步骤3：将每种融合方法融合下的融合图像、所述红外图像以及可见光图像作为输入图像，输入训练好的目标检测模型，以进行特征提取、特征增强以及目标检测，得到包含标注至少一个目标位置的目标感知框的输出图像；
[0010]步骤4：按照目标感知框中心点之间的距离、目标所在的目标感知框中心点至边界
的最近距离，判断目标感知框标注的目标是否为同一目标；
[0011]步骤5：根据同一目标的数量，确定所有可信目标；
[0012]步骤6：将所有可信目标在可见光图像中以目标感知框的形式标注出来。
[0013]其中，所述多元融合方法包括：Closed、Gram
‑
Schmidt、Guided、IHS、MMP、PCA、P+XS和Wavelet融合方法。
[0014]可选的，所述步骤4包括：
[0015]步骤41：针对同一目标位置的目标感知框，计算每个目标感知框的中心点与其他目标感知框中心点之间的第一距离，以及目标所在的目标感知框中心点至边界之间的第二距离；
[0016]步骤42：针对两张特征图，如果第一距离小于最短的第二距离，则判定该两张图中目标感知框中的目标为同一目标。
[0017]可选的，所述步骤5包括：
[0018]步骤51：统计判定为同一目标的目标数；
[0019]步骤52：判断目标数是否超过同一目标位置的目标半数，如果是则确定该目标为可信目标；如果不是，则移除该目标。
[0020]其中，所述目标检测模型包括：YOLO网络模型、Faster RCNN网络模型以及SSD网络模型。
[0021]第二方面，本专利技术提供的一种基于多级协同的多源遥感图像融合及目标感知装置包括：
[0022]获取模块，被配置为获取同一地理位置的原始异源图像；
[0023]其中，所述原始异源图像包括红外图像以及可见光图像；
[0024]融合模块，被配置为采用多元融合方法将所述红外图像以及所述可见光图像进行融合，获得每种融合方法融合下的融合图像；
[0025]识别模块，被配置为将每种融合方法融合下的融合图像、所述红外图像以及可见光图像作为输入图像，输入训练好的目标检测模型，以进行特征提取、特征增强以及目标检测，得到包含标注至少一个目标位置的目标感知框的输出图像；
[0026]判断模块，被配置为按照目标感知框中心点之间的距离、目标所在的目标感知框中心点至边界的最近距离，判断目标感知框标注的目标是否为同一目标；
[0027]确定模块，被配置为根据同一目标的数量，确定所有可信目标；
[0028]标注模块，被配置为将所有可信目标在可见光图像中以目标感知框的形式标注出来。
[0029]其中，所述多元融合方法包括：Closed、Gram
‑
Schmidt、Guided、IHS、MMP、PCA、P+XS和Wavelet融合方法。
[0030]可选的，所述判断模块，被配置为：
[0031]针对同一目标位置的目标感知框，计算每个目标感知框的中心点与其他目标感知框中心点之间的第一距离，以及每个目标感知框中心点至边界之间的第二距离；
[0032]针对两张特征图，如果第一距离小于最小的第二距离，则判定该两张图中目标感知框中的目标为同一目标。
[0033]可选的，所述确定模块，被配置为：
[0034]统计判定为同一目标的目标数；
[0035]判断目标数是否超过同一目标位置的目标半数，如果是则确定该目标为可信目标；如果不是，则移除该目标。
[0036]可选的，所述目标检测模型包括：YOLO网络模型、Faster RCNN网络模型以及SSD网络模型。
[0037]本专利技术提供的一种基于多级协同的多源遥感图像融合及目标感知方法及装置，通过获取同一地理位置的原始异源图像；采用多元融合方法将原始异源图像进行融合，之后作为输入图像输入训练好的目标检测模型，以进行特征提取、特征增强以及目标检测，得到包含目标感知框的输出图像；按照目标感知框中心点之间的距离与目标所在的目标感知框中心点至边界的最近距离，判断是否对目标感知框标注的目标进行决策，进而判断是否为可信目标。若为可信，则在可见光图像标注出来。本专利技术使用不同的融合算法对原始异源图像进行处理，能够增强图像中目标的特征，丰富图像中的场景信息；学习融合后的图像光谱特征、空间特征，提高目标感知精度；再对感知结果进行投票机制的决策以确定可信目标，从而使目标感知精度进一步提高。
[0038]以下将结合附图及实施例对本发本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多级协同的多源遥感图像融合及目标感知方法，其特征在于，包括：步骤1：获取同一地理位置的原始异源图像；其中，所述原始异源图像包括红外图像以及可见光图像；步骤2：采用多元融合方法将所述红外图像以及所述可见光图像进行融合，获得每种融合方法融合下的融合图像；步骤3：将每种融合方法融合下的融合图像、所述红外图像以及可见光图像作为输入图像，输入训练好的目标检测模型，以进行特征提取、特征增强以及目标检测，得到包含标注至少一个目标位置的目标感知框的输出图像；步骤4：按照目标感知框中心点之间的距离、目标所在的目标感知框中心点至边界的最近距离，判断目标感知框标注的目标是否为同一目标；步骤5：根据同一目标的数量，确定所有可信目标；步骤6：将所有可信目标在可见光图像中以目标感知框的形式标注出来。2.根据权利要求1所述的基于多级协同的多源遥感图像融合及目标感知方法，其特征在于，所述多元融合方法包括：Closed、Gram
‑
Schmidt、Guided、IHS、MMP、PCA、P+XS和Wavelet融合方法。3.根据权利要求1所述的基于多级协同的多源遥感图像融合及目标感知方法，其特征在于，所述步骤4包括：步骤41：针对同一目标位置的目标感知框，计算每个目标感知框的中心点与其他目标感知框中心点之间的第一距离，以及目标所在的目标感知框中心点至边界之间的第二距离；步骤42：针对两张特征图，如果第一距离小于最短的第二距离，则判定该两张图中目标感知框中的目标为同一目标。4.根据权利要求1所述的基于多级协同的多源遥感图像融合及目标感知方法，其特征在于，所述步骤5包括：步骤51：统计判定为同一目标的目标数；步骤52：判断目标数是否超过同一目标位置的目标半数，如果是则确定该目标为可信目标；如果不是，则移除该目标。5.根据权利要求1所述的基于多级协同的多源遥感图像融合及目标感知方法，其特征在于，所述目标检测模型包括：YOLO网络模型、Faster RCNN网络模型以及SSD网络模型。6.一种基于多级协同的多源遥感...
【专利技术属性】
技术研发人员：冯伟，张亚丽，全英汇，李强，宋怡佳，邹欣杉，王硕，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。