一种基于深度学习的局部特征提取方法技术

本发明专利技术公开了一种基于深度学习的局部特征提取方法，包括以下步骤：首先进行网络训练，在图像数据集MS

【技术实现步骤摘要】
一种基于深度学习的局部特征提取方法


[0001]本专利技术涉及深度学习的局部特征提取框架
，具体为一种基于深度学习的局部特征提取方法。

技术介绍

[0002]在计算机视觉的许多领域，基于学习的方法已经出现，并开始超过传统方法，直观上，特征提取过程只需几层卷积层组成的网络，就能够通过学习适当的参数来模拟传统检测器和描述器的行为，现有的一些基于学习的方法侧重于单独训练检测器或描述器，而另一些方法则成功构建了端到端特征检测与描述管道，对于前者，当这些单独优化的检测器或者描述器集成到完整的管道中时，这些单个组件的性能增益可能会消失，对于后者，联合训练检测器和描述器会更加可取，这使得它们可以协同优化。
[0003]然而，通过训练一个网络实现两个不同的优化目标是很有挑战性的，因为检测器的优化目标是可重复性，而描述器的优化目标是可区分性，对于两者的统一和联合并没有一套很好的解决方案，现有技术无法很好的平衡这两种优化目标。

技术实现思路

[0004]本专利技术的目的在于提供一种基于深度学习的局部特征提取方法，以解决技术背景中现有技术存在的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于深度学习的局部特征提取方法，其局部特征提取方法包括以下步骤：
[0006]S1、首先进行训练数据
[0007]在图像数据集MS
‑
COCO上训练我们的网络，数据集被分割成一个训练集和一个验证集，分别包含82783和40504张图像；
[0008]S2、然后进行图像匹配
[0009]在实验中，利用一个标准局部特征管道来评估所述局部特征提取方法的性能，所述标准局部特征管道是从实验中任一给定的一对图像中提取和匹配特征；
[0010]S3、接着进行重复分数(Repeatability)计算
[0011]重复分数用于评价所述局部特征提取方法中检测器的性能，更具体地说，让ε代表正确的距离阈值，以获得实验中两幅检测图像之间的正确关键点对应，重复分数定义为正确对应关键点数除以图像对中总的关键点数；
[0012]S4、然后进行匹配分数(M
‑
Score)计算
[0013]利用匹配分数评估所述局部特征提取方法中检测器和所述局部特征提取方法中描述器的综合性能，所述匹配分数是所述标准局部特征管道的匹配策略获得的正确匹配与总匹配数量的比率；
[0014]S5、最后进行单应估计效果评价
[0015]单应估计效果评估所述局部特征提取方法估计单应矩阵的能力，所述单应估计是
通过RANSAC计算实现；
[0016]其中，所述单应估计效果采用一种间接比较方法来适应不同尺度的单应矩阵，其测量的是RANSAC估计出的单应矩阵与ground
‑
truth单应矩阵变换图像四角之间的平均距离。
[0017]优选的，所述局部特征提取方法包括描述器、检测器和损失函数，其中：
[0018]所述描述器包括单应性卷积网络(HCN)和特征描述，所述描述器对原始图像进行操作，最终获得与原始图像分辨率大小相同的稠密描述符；
[0019]所述检测器包括检测器CNN网络和关键点提取，所述检测器对所述HCN得到的张量F进行操作，最终获得稀疏的关键点位置；
[0020]所述损失函数：
[0021]为了共同优化检测器和描述器，所述损失函数由检测损失函数和描述损失函数这两个中间损失组成，其中，所述检测损失函数使网络产生可重复的关键点位置，这些关键点位置与视点或光照是协变的，所述描述损失函数使网络输出区分性强的描述符，获得可靠的匹配，联合优化这两种损失，同时提升检测器和描述器的效果和性能。
[0022]优选的，所述单应性卷积网络(HCN)：
[0023]接收输入的原始图像数据，利用HCN中的单应估计模块预测不同的原始图像变换，将变换后的原始图像提供给全卷积网络，而不是迫使全卷积网络学习额外的几何变化，这样做能够让网络学习的更多的原始图像信息，从而得到一个张量F；
[0024]所述特征描述：
[0025]由HCN的计算的得到的张量作为输入：
[0026]①
通过Bi
‑
cubic插值输出一个张量
[0027]②
通过L2
‑
normalizes获得归一化的描述符向量d
[0028]d
ij
＝o
ij
/‖o
ij
‖2[0029]这里i＝1,
…
,H，j＝1,
…
,W，H
′
＝H/4，W
′
＝W/4，H和W分别为原始图像的高和宽，d的通道数D＝256，这些描述符向量可以很容易地通过欧几里得距离在图像之间进行匹配，从而获得可靠的对应关系；
[0030]所述检测器CNN网络：
[0031]检测器CNN网络的目标是输出一个像素级检测分数，检测分数表示该位置是关键点的概率，将张量F输入至检测器CNN网络，获取原始图像数据中每个像素的检测分数，所述检测器CNN网络由一个卷积层和两个上卷积层组成，随着通道数逐渐减少，空间分辨率逐渐增加，最后通过sigmoid激活函数获得最终结果；
[0032]所述关键点提取：
[0033]关键点提取的目标是输出稀疏的关键点位置，输入所述检测器CNN网络所得到的检测分数，利用非极大值抑制(NMS)与TopK操作，可以获得指定数量的特征点。
[0034]优选的，所述单应估计模块由卷积层和线性层组成，原始图像数据经过单应估计模块的网络层后预测6
×
N
h
个参数，用于获得单应变换矩阵；
[0035]其中，1
×
N
h
个参数用于计算尺度变换，2
×
N
h
个参数用于计算旋转变换，3
×
N
h
个参数用于计算透视变换；
[0036]尺度可由一个参数得到：
[0037]λ(α)＝exp(tanh(α))；
[0038]对于旋转，可由两个参数通过下面的公式计算：
[0039]θ(α,β)＝arctan2(tanh(α),tanh(β))；
[0040]对于透视变换矩阵A，可通过tanh激活函数处理三个参数用于表示(a1,a2,a3)，因此，6
×
N
h
个参数可以获得N
h
个单应变换矩阵，N
h
是一个超参数，考虑到网络的效率和有效性，设置N
h
＝4；
[0041]具体的，设定图像四个角为初始点
[0042]x＝[(
‑
1,
‑
1),(1,
‑
1),(1,1),(
‑
1,1)]，
[0043本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的局部特征提取方法，其特征在于：其局部特征提取方法包括以下步骤：S1、首先进行网络训练在图像数据集MS
‑
COCO上训练预先构建的网络，数据集被分割成一个训练集和一个验证集，分别包含82783和40504张图像；S2、然后进行图像匹配在实验中，利用一个标准局部特征管道来评估所述局部特征提取方法的性能，所述标准局部特征管道是从实验中任一给定的一对图像中提取和匹配特征；S3、接着进行重复分数Repeatability计算重复分数用于评价所述局部特征提取方法中检测器的性能，更具体地说，让ε代表正确的距离阈值，以获得实验中两幅检测图像之间的正确关键点对应，重复分数定义为正确对应关键点数除以图像对中总的关键点数；S4、然后进行匹配分数M
‑
Score计算利用匹配分数评估所述局部特征提取方法中检测器和所述局部特征提取方法中描述器的综合性能，所述匹配分数是所述标准局部特征管道的匹配策略获得的正确匹配与总匹配数量的比率；S5、最后进行单应估计效果评价单应估计效果评估所述局部特征提取方法估计单应矩阵的能力，所述单应估计是通过RANSAC计算实现；其中，所述单应估计效果评估采用一种间接比较方法来适应不同尺度的单应矩阵，其测量的是RANSAC估计出的单应矩阵与ground
‑
truth单应矩阵变换图像四角之间的平均距离。2.根据权利要求1所述的一种基于深度学习的局部特征提取方法，其特征在于：所述局部特征提取方法包括描述器、检测器和损失函数，其中：所述描述器包括单应性卷积网络HCN和特征描述，所述描述器对原始图像进行操作，最终获得与原始图像分辨率大小相同的稠密描述符；所述检测器包括检测器CNN网络和关键点提取，所述检测器对所述HCN得到的张量F进行操作，最终获得稀疏的关键点位置；所述损失函数：为了共同优化检测器和描述器，所述损失函数由检测损失函数和描述损失函数这两个中间损失组成，其中，所述检测损失函数使网络产生可重复的关键点位置，这些关键点位置与视点或光照是协变的，所述描述损失函数使网络输出区分性强的描述符，获得可靠的匹配，联合优化这两种损失，同时提升检测器和描述器的效果和性能。3.根据权利要求2所述的一种基于深度学习的局部特征提取方法，其特征在于：所述单应性卷积网络HCN：接收输入的原始图像数据，利用HCN中的单应估计模块预测不同的原始图像变换，将变换后的原始图像提供给全卷积网络，而不是迫使全卷积网络学习额外的几何变化，这样做能够让网络学习的更多的原始图像信息，从而得到一个张量F；所述特征描述：
由HCN的计算的得到的张量作为输入：
①
通过Bi
‑
cubic插值输出一个张量
②
通过L2
‑
normalizes获得归一化的描述符向量dd
ij
＝o
ij
/‖o
ij
‖2这里i＝1,
…
,H，j＝1,
…
,W，H
′
＝H/4，W
′
＝W/4，H和W分别为原始图像的高和宽；d的通道数D＝256，这些描述符向量可以很容易地通过欧几里得距离在图像之间进行匹配，从而获得可靠的对应关系；所述检测器CNN网络：检测器CNN网络的目标是输出一个像素级检测分数，检测分数表示该位置是关键点的概率，将张量F输入至检测器CNN网络，获取原始图像数据中每个像素的检测分数，所述检测器CNN网络由一个卷积层和两个上卷积层组成，随着通道数逐渐减少，空间分辨率逐渐增加，最后通过sigmoid激活函数获得最终结果；所述关键点提取：关键点提取的目标是输出稀疏的关键点位置，输入所述检测器CNN网络所得到的检测分数，利用非极大值抑制NMS与TopK操作，可以获得指定数量的特征点。4.根据权利要求3所述的一种基于深度学习的局部特征提取方法，其特征在于：所述单应估计模块由卷积层和线性层组成，原始图像数据经过单应估计模块的网络层后预测6
×
N
h
个参数，用于获得单应变换矩阵；其中，1
×
N
h
个参数用于计算尺度变换，2
×
N
h
个参数用于计算旋转变换，3
×
N
h
个参数用于计算透视变换；尺度可由一个参数得到：λ(α)＝exp(tanh(α))；对于旋转，可由两个参数通过下面的公式计算：θ(α,β)＝arctan2(ta...

【专利技术属性】
技术研发人员：刘晓平，蔡有城，李琳，王冬，黄鑫涛，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：