【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于不变特征与可变特征的图像解耦及匹配方法。
技术介绍
1、图像特征匹配旨在建立图像之间精确的像素点对应关系，更是许多后续计算机视觉应用的重要前提，诸如图像检索、图像拼接、图像定位、三维重建等。典型的图像特征匹配流程为：图像关键点检测、图像特征描述、图像特征匹配。随着深度学习的发展，近年来端到端的图像特征匹配的方法也越来越多。端到端的图像特征匹配流程即传入可匹配图像，经过网络预测直接获得图像匹配结果。
2、传统的图像特征描述算法通常是由设计者主观构建的，这些算法通常是对图像关键点周围局部信息的数学化描述。在相当长的时间里，手工设计的描述符一直是该领域的主流研究方法，直到深度学习技术的出现。自从深度学习技术问世以来，应用了这一技术的各个研究领域都取得了显著的进展，计算机视觉领域也不例外。
3、与传统的手工方法相比，深度学习方法通过数据驱动，能够更好地适应挑战性环境，处理更加复杂甚至是极端的场景。通过精心设计网络结构，合理设置损失函数，并充分利用数据集进行训练，基于深度学习的图像特征描述方法能够更轻松地获得利于建立匹配的特征描述符。随着深度学习的不断进步，端到端的图像特征匹配网络已经能够绕过传统的特征描述符学习过程，直接从待匹配图像块数据中获得匹配结果，从而不再受制于关键点的质量。这种方法所得到的结果更为精确。
4、尽管这些基于深度学习的特征描述方法大多都表现优秀，但它们通常由于图像中存在着类似光照变换、视角变换等多种干扰。由于特征提取受到这些嘈杂信息的干扰后
技术实现思路
1、本专利技术主要目的在于提供一种可以直接提取不同干扰环境下图像中的不可变特征数据，从而提高图像匹配精度的基于不变特征与可变特征的图像解耦及匹配方法。
2、本专利技术所采用的技术方案是：
3、提供一种基于不变特征与可变特征的图像解耦方法，包括以下步骤：
4、构建基于不变特征与可变特征的图像解耦网络，其包括可变特征提取网络和不变特征提取网络；
5、选取训练数据集中的任意两个待匹配图像块，分别输入可变特征提取网络和不变特征提取网络中解耦得到可变特征数据和不变特征数据；
6、通过预先构建的第一约束条件使得不变特征提取网络输出的不变特征数据之间的距离达到第一预设最小值；
7、将同一待匹配图像块解耦得到的可变特征数据和不变特征数据进行融合重建得到重建图像块；通过预先构建的第二约束条件使得重建图像块与待匹配图像块之间的距离达到第二预设最小值；
8、通过迭代训练，得到训练好的基于不变特征与可变特征的图像解耦网络，以用于图像的不变特征与可变特征的解耦。
9、接上述技术方案，第一约束条件为通过hardnet、sosnet等算法确定的三元组损失函数及其变种。
10、接上述技术方案，第二约束条件为根据重建图像块与待匹配图像块之间的关系构建的重建约束损失函数。
11、接上述技术方案，根据训练数据集的不同，待匹配图像块可以是以关键点为中心裁剪得到的局部图像块或者是原始尺寸的完整图像。
12、第一约束条件涉及的三元组按如下方式构建：三元组包含3个图像块，其中2个图像块应分别来自不同图像，且他们之间存在匹配关系；另1个图像块和上述两个图像块均不存在匹配关系。
13、接上述技术方案，基于brown数据集构建训练样本集。首先，判断哪两张图像包含公共场景，构建待匹配的图像对集合。其次，在每一对待匹配图像上检测关键点，并标注关键点的匹配关系。基于此，迭代优化图像解耦网络参数，使第一约束条件和第二约束条件达到最小值，即匹配关键点的不变特征尽可能相似且不变特征和可变特征组合重建后的图像与输入图像尽可能相似。对于完整尺寸然后，遍历每一对匹配关键点，构建三元组。具体而言，选择一对匹配关键点，以其为中心按照固定尺寸裁剪得到两个图像块，再从其他关键点中随机选择一个，按上述相同步骤裁剪得到第三个图像块。将构成的多个三元组作为图像解耦网络的训练数据集；每次训练以最小化三元组损失平均值为训练目标。
14、接上述技术方案，还包括步骤：利用测试集对该图像解耦网络进行测试，并使用预设的评估方法对图像解耦网络输出的可变特征数据和不变特征数据的描述符进行多指标评估。
15、接上述技术方案，测试集具体根据数据集中图像对之间的拍摄视角差异进行难易程度划分或者根据图像对之间的基线宽度进行难易程度划分后再进行测试，以体现本专利技术方法在不同难易程度数据集上的表现。
16、接上述技术方案，重建图像块具体通过图像重建网络重建，该图像重建网络包括多个反卷积模块。
17、本专利技术还提供一种基于不变特征与可变特征的图像解耦系统，包括：
18、图像解耦网络构建模块，用于构建基于不变特征与可变特征的图像解耦网络，其包括可变特征提取网络和不变特征提取网络；
19、训练模块，用于选取训练数据集中的待匹配图像块三元组(两个匹配图像块和一个非匹配图像块)，分别输入可变特征提取网络和不变特征提取网络中得到每个图像块的可变特征数据和不变特征数据；通过预先构建的第一约束条件使得三元组损失函数达到第一预设最小值；
20、重建模块，用于将同一输入图像块得到的可变特征数据和不变特征数据进行融合重建得到重建图像块；通过预先构建的第二约束条件使得重建图像块与输入图像块之间的距离达到第二预设最小值；
21、迭代模块，用于通过迭代训练，得到训练好的基于不变特征与可变特征的图像解耦网络，以用于图像的不变特征与可变特征的解耦。
22、本专利技术还提供一种基于不变特征与可变特征解耦的图像匹配方法，包括以下步骤：
23、对任意一对待匹配的图像，提取图像中的所有关键点，以关键点为中心提取一定大小的图像块并进行归一化处理；
24、将经过归一化处理后的图像块分别输入到预先训练好的基于不变特征与可变特征的图像解耦网络，提取出各个图像块的不变特征数据，也即其对应的关键点的不变特征；该基于不变特征与可变特征的图像解耦网络为根据权利要求1所述的基于不变特征与可变特征的图像解耦方法得到；
25、对于第一幅图像上的某个关键点，根据上述提取的不变特征数据，在另一幅图像上找到距离最近的关键点作为一对匹配关键点；
26、遍历第一幅图像上所有关键点，重复上述步骤，完成待匹配图像对的匹配。
27、本专利技术还提供一种基于不变特征与可变特征解耦的图像匹配系统，包括：
28、关键点提取模块，用于提取一对待匹配图像中的所有关键点，以关键点为中心提取一定大小的图像块并进行归一化处理；
29、图像解耦，用于将经过归一化处理后的图像块分别输入到预先训练好的基于不变特征与可变特征的图像解耦网络，提取出各个图像块的不变特征数本文档来自技高网...
【技术保护点】
1.一种基于不变特征与可变特征的图像解耦方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于不变特征与可变特征的图像解耦方法，其特征在于，第一约束条件为通过HardNet算法确定的三元组损失函数；第二约束条件为根据重建图像块与待匹配图像块块之间的关系构建的重建约束损失函数。
3.根据权利要求1所述的基于不变特征与可变特征的图像解耦方法，其特征在于，根据训练数据集的不同，待匹配图像块为以关键点为中心裁剪得到的局部图像块或者为原始尺寸的完整图像。
4.根据权利要求3所述的基于不变特征与可变特征的图像解耦方法，其特征在于，基于Brown数据集随机选择一定数量的图像块对构成初始数据集，为每一对图像块在其他图像对中挑选一个最相似的图像块共同构成三元组，再将构成的多个三元组作为图像解耦网络的训练数据集；每次训练以最小化三元组损失平均值为训练目标。
5.根据权利要求1所述的基于不变特征与可变特征的图像解耦方法，其特征在于，还包括步骤：
6.根据权利要求5所述的基于不变特征与可变特征的图像解耦方法，其特征在于，测试集具体根据数
7.根据权利要求1所述的基于不变特征与可变特征的图像解耦方法，其特征在于，重建图像块具体通过图像重建网络重建，该图像重建网络包括多个反卷积模块。
8.一种基于不变特征与可变特征的图像解耦系统，其特征在于，包括：
9.一种基于不变特征与可变特征解耦的图像匹配方法，其特征在于，包括以下步骤：
10.一种基于不变特征与可变特征解耦的图像匹配系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于不变特征与可变特征的图像解耦方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于不变特征与可变特征的图像解耦方法，其特征在于，第一约束条件为通过hardnet算法确定的三元组损失函数；第二约束条件为根据重建图像块与待匹配图像块块之间的关系构建的重建约束损失函数。
3.根据权利要求1所述的基于不变特征与可变特征的图像解耦方法，其特征在于，根据训练数据集的不同，待匹配图像块为以关键点为中心裁剪得到的局部图像块或者为原始尺寸的完整图像。
4.根据权利要求3所述的基于不变特征与可变特征的图像解耦方法，其特征在于，基于brown数据集随机选择一定数量的图像块对构成初始数据集，为每一对图像块在其他图像对中挑选一个最相似的图像块共同构成三元组，再将构成的多个三元组作为图像解耦网络的训练数据集；每...
【专利技术属性】
技术研发人员：孙琨，方纯，唐厂，王力哲，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。