【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于语义引导与任务奖惩相结合的局部特征学习方法。
技术介绍
1、近年来，局部特征学习方法在计算机视觉中取得了显著进展，尤其是深度学习的引入大幅提升了特征提取的精度和鲁棒性。传统方法如sift和orb在处理光照、视角和尺度变化上有一定的鲁棒性，但在实时性和复杂场景中的表现受限。近年来的研究将深度神经网络应用于特征检测和描述阶段，能够从大规模数据中学习具有更强表达能力的特征，并适应复杂的真实场景。此外，一些新型方法在特征提取中整合了多任务学习、注意力机制和自监督学习，大幅提升了特征的判别力和计算效率。这些方法为三维重建、增强现实和自主定位等任务提供了更精确、鲁棒的视觉匹配能力。
2、文献《proceedings of the ieee/cvf conference on computer vision andpattern recognition,papers 5206-5216,2023》提出了一种语义感知的特征提取方法，通过将高级语义隐式嵌入到检测和描述过程中来提取全局可靠的特征，而不是依赖明确的语义标签，使方法更具泛化性。虽然在应对复杂的环境变化时更具语义区分性，但在鲁棒性上还有所欠缺，导致提取的特征无法被准确的检测。文献《proceedings of the ieee/cvfconference on computer vision and pattern recognition,papers 1306-1315,2023》提出一种用于联合检测和描述关键点的新型变形感知网络，
技术实现思路
1、本专利技术的目的是提出一种基于语义引导与任务奖惩相结合的局部特征学习方法，联合语义引导与任务奖惩进行局部特征提取，旨在抵抗复杂的环境变化时具有较强的鲁棒性和区分性。
2、本专利技术的技术方案如下：一种基于语义引导与任务奖惩相结合的局部特征学习方法，通过局部特征提取网络获取原始图像的特征检测热图fdet和特征描述符fdes；原始图像通过预训练的语义分割网络，生成语义特征类；语义分割网络获得的语义特征类与局部特征提取网络输出的特征检测热图fdet和特征描述符fdes相结合，输出的结果分别用于获取特征点检测分布以及获取特征点的语义特征描述符；原始图像的语义特征描述符和目标图像的语义特征描述符的匹配结果，作为特征点是否正确的训练依据；所述训练的方法为强化学习，在强化学习训练过程中，使用一个梯度更新公式来优化局部特征提取网络特征点的检测和描述。
3、所述梯度更新公式为：
4、
5、其中，表示梯度，r表示每个特征点的奖励值，e表示期望；p′(a|fdet)和p′(b|fdet)分别表示原始图像的特征点检测分布和目标图像的特征点检测分布；为特征匹配分布；
6、为奖励函数；当两个图像的特征点有深度信息，并且在各自的重投影的ε像素范围内，认为匹配有效，并奖励匹配的特征点，在这种情况下奖励函数被定义为1；两个特征点之间没有深度信息，计算该特征点到另一个特征点的外极距，距离小于2，特征点则匹配合理，设置此时奖励函数被定义为0.25；如果以上两个条件都不满足，则两个特征点不匹配，此时奖励函数被定义为-0.001。
7、所述特征点检测分布p′(·|fdet)具体为：通过引入语义特征类来对检测到的特征点分类；针对室外场景的视觉任务，将建筑物这种固定不变的物体定义为长期有效特征，将该类特征点的值设为4，将行人定义为无效特征，特征点的值设为1，将草，山这种定义为短期有效特征，特征点的值设为2，其他训练集中涉及到一些室内场景的物体，但对于测试无关紧要的特征，特征点的值设为3；由此，构建语义可靠性特征图smask：
8、
9、其中，hs′eg表示将特征点进行语义分类后的最终结果；当hs′eg＝1时，该特征是无效的，此时smask＝0；当hs′eg＝2或hs′eg＝3时，smask＝0.5；当hs′eg＝4时，此时smask＝1；将特征检测热图fdet进行softmax(·)操作并与smask相乘，得到最终的特征点检测分布，表达式表示如下：
10、p′(x|fdet)＝softmax(fdet(x))·smask(fdet(x)) (2)。
11、所述特征匹配分布具体为；根据语义可靠性特征图smask，特征描述符同样被分为四类，表示为称之为语义特征描述符；在进行匹配运算时，首先判断语义特征描述符是否属于同一类别，当语义特征描述符属于同一类，进行匹配，否则不予匹配；其中匹配概率分布计算公式如下：
12、
13、其中，mc表示原始图像a与目标图像b的匹配的结果，c表示类别。和分别表示原始图像特征点的语义特征描述符和目标图像特征点的语义特征描述符。
14、所述语义分割网络采用upernet分割框架进行语义分割；语义分割网络为编码器-解码器结构，编码器对四个网络层的输出进行1/4、1/8、1/16和1/32下采样，输出通道为[128、256、512、1024]的特征图，金字塔汇集模块作为解码器，生成用于语义分割的特征图；分割头hseg处理解码器输出的特征图；计算过程如下：
15、eseg＝encoderseg(i) (4)
16、hseg＝decoderseg(eseg) (5)
17、encoderseg表示语义分割网络的编码器；decoderseg表示语义分割网络的解码器。
18、所述局部特征提取网络采用编码和解码组织结构的unet框架；将原始图像i输入编码器进行特征编码得到编码后的特征efea，编码后的特征送入到解码部分，得到两个输出：分别为用于特征点检测的特征检测热图fdet和用于特征点描述的特征描述符fdes；
19、efea＝encoderfea(i) (6)
20、fdet,fdes＝decoderfea(efea) (7)
21、encoderfea表示局部特征提取网络的编码器，decoderfea表示局部特征提取网络的解码器。
22、本专利技术的有益效果：针对以往视觉任务提取的局部特征没有充分考虑到语义信息的问题，本专利技术提出了一种联合语义引导与任务奖励的局部特征提取方法。该专利技术利用语义分割网络本文档来自技高网...
【技术保护点】
1.一种基于语义引导与任务奖惩相结合的局部特征学习方法，其特征在于，通过局部特征提取网络获取原始图像的特征检测热图fdet和特征描述符fdes；原始图像通过预训练的语义分割网络，生成语义特征类；语义分割网络获得的语义特征类与局部特征提取网络输出的特征检测热图fdet和特征描述符fdes相结合，输出的结果分别用于获取特征点检测分布以及获取特征点的语义特征描述符；原始图像的语义特征描述符和目标图像的语义特征描述符的匹配结果，作为特征点是否正确的训练依据；所述训练的方法为强化学习，在强化学习训练过程中，使用一个梯度更新公式来优化局部特征提取网络特征点的检测和描述。
2.根据权利要求1所述的基于语义引导与任务奖惩相结合的局部特征学习方法，其特征在于，所述梯度更新公式为：
3.根据权利要求2所述的基于语义引导与任务奖惩相结合的局部特征学习方法，其特征在于，所述特征点检测分布P′(·|fdet)具体为：通过引入语义特征类来对检测到的特征点分类；针对室外场景的视觉任务，将建筑物这种固定不变的物体定义为长期有效特征，将该类特征点的值设为4，将行人定义为无效特征，特征点的值
4.根据权利要求3所述的基于语义引导与任务奖惩相结合的局部特征学习方法，其特征在于，所述特征匹配分布具体为；根据语义可靠性特征图Smask，特征描述符同样被分为四类，表示为称之为语义特征描述符；在进行匹配运算时，首先判断语义特征描述符是否属于同一类别，
5.根据权利要求1-4任一所述的基于语义引导与任务奖惩相结合的局部特征学习方法，其特征在于，所述语义分割网络采用UperNet分割框架进行语义分割；语义分割网络为编码器-解码器结构，编码器对四个网络层的输出进行1/4、1/8、1/16和1/32下采样，输出通道为[128、256、512、1024]的特征图，金字塔汇集模块作为解码器，生成用于语义分割的特征图；分割头Hseg处理解码器输出的特征图；计算过程如下：
6.根据权利要求1-4任一所述的基于语义引导与任务奖惩相结合的局部特征学习方法，其特征在于，所述局部特征提取网络采用编码和解码组织结构的Unet框架；将原始图像I输入编码器进行特征编码得到编码后的特征Efea，编码后的特征送入到解码部分，得到两个输出：分别为用于特征点检测的特征检测热图fdet和用于特征点描述的特征描述符fdes；
...【技术特征摘要】
1.一种基于语义引导与任务奖惩相结合的局部特征学习方法，其特征在于，通过局部特征提取网络获取原始图像的特征检测热图fdet和特征描述符fdes；原始图像通过预训练的语义分割网络，生成语义特征类；语义分割网络获得的语义特征类与局部特征提取网络输出的特征检测热图fdet和特征描述符fdes相结合，输出的结果分别用于获取特征点检测分布以及获取特征点的语义特征描述符；原始图像的语义特征描述符和目标图像的语义特征描述符的匹配结果，作为特征点是否正确的训练依据；所述训练的方法为强化学习，在强化学习训练过程中，使用一个梯度更新公式来优化局部特征提取网络特征点的检测和描述。
2.根据权利要求1所述的基于语义引导与任务奖惩相结合的局部特征学习方法，其特征在于，所述梯度更新公式为：
3.根据权利要求2所述的基于语义引导与任务奖惩相结合的局部特征学习方法，其特征在于，所述特征点检测分布p′(·|fdet)具体为：通过引入语义特征类来对检测到的特征点分类；针对室外场景的视觉任务，将建筑物这种固定不变的物体定义为长期有效特征，将该类特征点的值设为4，将行人定义为无效特征，特征点的值设为1，将草，山这种定义为短期有效特征，特征点的值设为2，其他训练集中涉及到一些室内场景的物体，但对于测试无关紧...
【专利技术属性】
技术研发人员：张云洲，王丽，葛发蔚，张金鹏，王一帆，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。