一种基于VGG16网络模型的影像特征匹配方法组成比例

本发明专利技术属于遥感影像技术领域，具体涉及一种基于VGG16网络模型的影像特征匹配方法，通过将待匹配影像对中的设定大小且带有特征点的影像块输入至训练好的改进VGG16网络模型中，进行特征描述，根据特征描述的影像块，进行特征点匹配，改进VGG16网络模型的改进点在于使用的全连接层为1。因改进VGG16网络模型是将现有技术的VGG16网络模型的3个全连接层改化为1个全连接层，即输入影像经过第五层卷积+最大值池化处理后，直接利用1个全连接层用以判断影像特征点是否正确匹配，进而网络模型网络层数以及参数量减少，网络训练效率也得到提高，并且提高了利用改进VGG16网络模型进行特征块描述的速度，进而提高了从改进VGG16网络模型训练到待匹配影像对的影像特征匹配的效率。率。率。

【技术实现步骤摘要】
一种基于VGG16网络模型的影像特征匹配方法


[0001]本专利技术属于遥感影像
，具体涉及一种基于VGG16网络模型的影像特征匹配方法。

技术介绍

[0002]所谓特征匹配，就是指将从影像中提取的特征作为共轭实体，而将所提特征属性或描述参数(实际上是特征的特征，也可以认为是影像的特征)作为匹配实体，通过计算匹配实体之间的相似性测度以实现共轭实体配准的影像匹配方法。
[0003]由于不同遥感器的成像机理不同，对成像波段的感应能力也表现出较大的差异，所得到的影像在灰度信息方面的关联性较低，传统的影像匹配算法难以适应解决多源影像匹配问题的需求。传统的特征提取与匹配算法主要关注点在于影像的几何特征和空间邻域关系，提取的特征较为表面，描述符的构建依赖于影像的特性，无法突破影像间特征的本质差异。
[0004]卷积神经网络由若干卷积层(Convolutional Layer)、激活函数层(Activation Layer)、池化层(Pooling Layer)、全连接层(Fully Connected Layer)构成，VGG网络于2014年提出，该网络对网络模型的深度和性能之间的关系进行了研究分析，证明了增加网络层次的深度能够提高网络模型表现性能。VGG系列网络在图像分类工作中的良好表现，验证了网络层次在一定程度上的加深，会提高模型的性能，同时在不同数据集上的实验也证明了网络本身的可迁移性。VGG网络组成模块主要包含3
×
3的小型卷积核模块和2
×
2的最大池化层模块，并通过模块之间的有机组合成功的构建了不同深度的卷积神经网络。根据卷积层和全连接层数量的不同，VGG主要包含VGG16和VGG19两种结构，而现有的VGG16网络模型复杂度高，相应的需确定的参数量多，使得训练效率低，进而使得从模型训练到影像特征匹配的整个过程所利用的时间长，导致整个过程效率低。

技术实现思路

[0005]本专利技术的目的在于提供一种基于VGG16网络模型的影像特征匹配方法，用以解决基于现有技术中VGG16网络模型进行影像匹配时，因模型复杂度高，导致影像匹配过程效率低的问题。
[0006]为解决上述技术问题，本专利技术提供了一种基于VGG16网络模型的影像特征匹配方法，包括如下步骤：
[0007]1)获取带有特征点信息的待匹配影像对；
[0008]2)对待匹配影像对中的两幅影像分别进行处理；所述处理为：将影像裁切为N个设定大小且带有特征点的影像块，N＞1，并将所有影像块输入至训练好的改进VGG16网络模型中，得到各个影像块的特征描述；所述改进VGG16网络模型的改进点在于使用的全连接层为1层；
[0009]3)根据待匹配影像对中所有影像块的特征描述，进行待匹配影像对的影像块匹
配；所述影像块匹配的手段为：对于其中一幅影像中的一个影像块，记为待匹配影像块，将待匹配影像块与另一幅影像中的所有影像块均进行相似性比较，选出最相似的影像块，并与所述待匹配影像块形成影像块对；
[0010]4)根据影像块对，得到影像块对中相互匹配的正确匹配点。
[0011]其有益效果为：因改进VGG16网络模型是将现有技术的VGG16网络模型的3个全连接层改化为1个全连接层，即输入影像经过第五层卷积+最大值池化处理后，直接利用1个全连接层用以判断影像特征点是否正确匹配。改化后的网络模型网络层数减少，相应的参数量减少，网络训练的效率也得到提高，并且提高了利用改进VGG16网络模型进行特征块描述的速度，进而提高了从改进VGG16网络模型训练到待匹配影像对的影像特征匹配的效率。
[0012]进一步地，步骤1)中，利用特征检测算子对原始待匹配影像对进行特征点提取，从而得到带有特征点信息的待匹配影像对。通过特征检测算子的方式能够简单快速的得到带有特征点信息的待匹配影像对。
[0013]进一步地，所述特征检测算子为SIFT或Harris。通过SIFT或Harris的特征检测算子的方式能够准确得到带有特征点信息的待匹配影像。
[0014]进一步地，步骤2)中，改进VGG16网络模型在模型训练时通过交叉熵损失函数进行模型的优化。通过运用交叉熵损失函数进行模型的优化的方式，使得网络模型精度更高。
[0015]进一步地，交叉熵损失函数用于将训练样本输入改进VGG16网络模型的输出结果经过Softmax分类器后转化为概率分布，根据概率分布得到训练样本经改进VGG16网络判别为正确类别的概率函数，并将概率函数经最大似然函数后取对数得到交叉熵损失函数结果。
[0016]进一步地，交叉熵损失函数的表达式为：
[0017][0018]其中，M为输入图像数量；N为图像类别数量；x
(i)
为输入图像；y
(i)
为图像真值标签；α为网络模型参数。
[0019]进一步地，所述待匹配影像对为同一地点的不同源的影像。
[0020]进一步地，步骤2)中，影像裁切为N个设定大小且带有特征点的影像块的方法为：以检测到的特征点为中心构建设定大小的影像块。通过将特征点作为中心构建设定大小的影像块，能够通过影像块的匹配实现特征点的匹配，即将匹配的影像块对中的两个中心点即为匹配点对。基于将特征点作为中心点构建影像块的方式，实现了影像块的构成是基于特征点的位置构成的，因此当影像块得到最终的匹配结果形成影像块对后，就能够将影像块对的中心点进行匹配形成最终正确的匹配点对，从而实现了特征点的匹配。
附图说明
[0021]图1是现有技术的VGG16网络架构示意图；
[0022]图2是本专利技术的基于VGG16网络模型的影像特征匹配方法的流程图；
[0023]图3a是第一场景下待匹配的可见光影像；
[0024]图3b是第一场景下待匹配的热红外影像；
[0025]图4a是第二场景下待匹配的可见光影像；
[0026]图4b是第二场景待匹配的GAN生成的近红外影像；
[0027]图5a是第三场景待匹配的自然场景下的可见光图像；
[0028]图5b是第三场景待匹配的自然场景下的近红外影像；
[0029]图6是基于ORB+RANSAC的进行图3a和图3b的匹配结果示意图；
[0030]图7是基于D2
‑
Net+RANSAC的进行图3a和图3b的匹配结果示意图；
[0031]图8是基于本专利技术的VGG16网络模型进行图3a和图3b的匹配结果示意图；
[0032]图9是基于本专利技术的VGG16网络模型进行图4a和图4b的匹配结果示意图；
[0033]图10是基于本专利技术的VGG16网络模型进行图5a和图5b的匹配结果示意图；
[0034]图11a是第四场景待匹配的可见光影像；
[0035]图11b是第四场景待匹配的SAR影像；
[0036]图12是基于本专利技术的VGG16网络模型进行图11的匹配结果示意图。
具体实施方式
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VGG16网络模型的影像特征匹配方法，其特征在于，包括如下步骤：1)获取带有特征点信息的待匹配影像对；2)对待匹配影像对中的两幅影像分别进行处理；所述处理为：将影像裁切为N个设定大小且带有特征点的影像块，N＞1，并将所有影像块输入至训练好的改进VGG16网络模型中，得到各个影像块的特征描述；所述改进VGG16网络模型的改进点在于使用的全连接层为1层；3)根据待匹配影像对中所有影像块的特征描述，进行待匹配影像对的影像块匹配；所述影像块匹配的手段为：对于其中一幅影像中的一个影像块，记为待匹配影像块，将待匹配影像块与另一幅影像中的所有影像块均进行相似性比较，选出最相似的影像块，并与所述待匹配影像块形成影像块对；4)根据影像块对，得到影像块对中相互匹配的正确匹配点。2.根据权利要求1所述的基于VGG16网络模型的影像特征匹配方法，其特征在于，步骤1)中，利用特征检测算子对原始待匹配影像对进行特征点提取，从而得到带有特征点信息的待匹配影像对。3.根据权利要求2所述的基于VGG16网络模型的影像特征匹配方法，其特征在于，所述特征检测算子为SIFT或Harris。4.根据权利要求1所述的基于VGG16...

【专利技术属性】
技术研发人员：王慧，李靖，程挺，于克光，闫科，余东行，李祝鑫，李烁，李伟，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：