【技术实现步骤摘要】
本专利技术涉及图像处理与图像识别的，尤其是指一种基于改进posfeat网络的图像稀疏局部特征提取方法。
技术介绍
1、图像稀疏局部特征提取是计算机视觉领域中关键的技术之一，其主要目标是从图像中提取出具有代表性和鲁棒性的局部特征，用于图像识别、目标检测和其他视觉任务。在早期，人们通过手工制作的特征与一些几何约束来提取图像的稀疏局部特征。随着深度学习的快速发展，深度神经网络也被用来完成稀疏局部特征提取的任务。在目前已有的工作中，存在的问题包括提取到的局部特征对非线性变换不够鲁棒、不能很好地应对光线变化、低纹理区域提取的特征质量较差、在背景中提取过多冗余关键点等。
技术实现思路
1、本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于改进posfeat网络的图像稀疏局部特征提取方法，提取图像的关键点和描述符，与现有方法相比提取到的关键点和描述符在图像匹配、视觉定位和三维重建等任务中取得了更好的效果，缓解了在背景中提取过多冗余关键点的问题，提高了网络的泛化能力。
2、为实现上述目的，本专利技术所提供的技术方案为：基于改进posfeat网络的图像稀疏局部特征提取方法，该改进posfeat网络是对原来posfeat网络的描述符提取网络与关键点检测网络进行改进；对描述符提取网络的改进是：设计了由relu激活函数、批量归一化和卷积层构成的discrimination context augmented模块，记作dca和设计了由通道层面归一化和空间层面归一化构成的discrimi
3、该图像稀疏局部特征提取方法的具体实施包括以下步骤：
4、1)获取带有相机位姿、相机内参的室外图像构建训练数据；
5、2)将训练数据输入到描述符提取网络进行训练，输入通过resnet骨干和dca组成的编码器，dca在resnet骨干提取的特征图中挖掘并增强可区分信息；编码器的输出经过解码器后输入到dirn，dirn同时使用通道层面和空间层面的归一化优化描述符，输出图像的描述符；在反向传播中使用到极线距离计算描述符的损失值，经过多次迭代至损失值最小，最终得到最优描述符提取网络；
6、3)将训练数据和步骤2)训练好的描述符提取网络输出的描述符送入关键点检测网进行训练，关键点检测网络中的csp对描述符进行长距离上下文建模，将描述符信息融合进关键点检测，输出图像的关键点；在反向传播中使用策略梯度计算关键点的损失值，经过多次迭代至损失值最小，最终得到最优关键点检测网络；
7、4)将最优描述符提取网络和最优关键点检测网络组合构成性能最优的改进posfeat网络，后续将待测图像输入该性能最优的改进posfeat网络，即可输出图像的描述符和关键点，从而完成图像的稀疏局部特征提取。
8、进一步，在步骤2)中，将训练数据输入到改进posfeat网络的描述符提取网络，输入通过resnet骨干和dca组成的编码器，其中，第一个dca位于resnet骨干的encoder1之后，第二个dca位于resnet骨干的encoder3之后，并且第二个dca的输出与encoder3的输出相加得到编码器的输出；编码器的输出经过解码器和dirn后得到改进posfeat网络的描述符提取网络的输出；
9、dca由relu激活函数、批量归一化和卷积层构成，能够从特征图中提取语义信息，并将其转换为对物体外观和空间上下文有高度可区分性的特征；resnet骨干的encoder1输出的特征图为浅层特征图，由于其小的感受野而表现出更高的可重复性但可区性低，将resnet骨干的encoder0输出的特征图输入到第一个dca，能够增强浅层特征图中存在的可区分性语义信息；resnet骨干的encoder3输出的特征图为深层特征图，拥有更具可区分性的语义信息，即包含最丰富的语义信息，将第二个dca的输出与resnet骨干的encoder3输出的特征图相加能够获得融合了浅层特征图的增强判别特征和深层特征图的丰富语义信息的特征图；
10、dirn分别对描述符进行空间归一化和通道归一化得到更具鉴别力的描述符，记作desc，如下公式(1)、(2)、(3)、(4)和(5)所示：
11、
12、
13、d′sw＝dsw×γsw+βsw (3)
14、d′cw＝dcw×γcw+βcw (4)
15、
16、式中，dbk表示给定的描述符输入，μsw和σsw表示在空间层面计算的平均值和标准差，μcw和σcw表示在通道层面计算的平均值和标准差，ωsw和ωcw是通过学习得到的两个权重，ε表示一个帮助保持数值稳定性的微小常数；在归一化的同时，网络分别学习了两个不同维度层面的比例系数γsw、γcw和位移参数βsw、βcw；然后，将比例系数γsw、γcw和位移参数βsw、βcw分别施加在其对应的归一化结果，得到中间值d′sw和中间值d′cw，将中间值d′sw和中间值d′cw加权求和得到输出desc。
17、进一步，所述csp由两个阶段组成：绝对显着性聚集阶段和相对显着性融合阶段；
18、在绝对显着性聚集阶段，给定输入特征d，首先，d沿垂直和水平维度进行平均池化，分别产生中间向量yh和yv，yh和yv中的每个元素如下公式(6)、(7)所示：
19、
20、
21、式中，i和j分别表示沿水平和垂直维度的像素坐标，w表示d的宽度，h表示d的高度，xi,j表示d中像素坐标为(i,j)的元素，yiv表示yv中像素坐标为i的元素，表示yh中像素坐标为j的元素；平均池化有效地捕获了长距离依赖关系，狭长的核覆盖了一个垂直或水平的维度的所有信息，同时减少了另一维度不相关区域的干扰，通过这种方式，收集了全局信息，并维持了局部邻域的辨别能力；随后，yh和yv经过3×3的卷积层来调制当前位置及其邻居特征，再将yh和yv扩展为输入d的大小，以获得绝对显着性聚集阶段的输出中间值y′h和y′v；
22、在相对显着性融合阶段，为了聚合两个维度的信息，将y′h和y′v加在一起，再经过一个3×3卷积后得到csp的输出特征图，记作dcsp；
23、通过使用csp，特征图dcsp的各个位置之间建立互连，在绝对显着性聚集阶段，从两个维度独立获取信息，在相对显着性融合阶本文档来自技高网...
【技术保护点】
1.基于改进PoSFeat网络的图像稀疏局部特征提取方法，其特征在于，该改进PoSFeat网络是对原来PoSFeat网络的描述符提取网络与关键点检测网络进行改进；对描述符提取网络的改进是：设计了由relu激活函数、批量归一化和卷积层构成的DiscriminationContext Augmented模块，记作DCA和设计了由通道层面归一化和空间层面归一化构成的Discrimination Information Retained Normalization模块，记作DIRN，分别加入描述符提取网络的ResNet骨干，DCA增强了ResNet骨干从特征图中捕获区分物体外观和空间环境的特征，提升描述符的性能，DIRN在归一化的同时保留语义上的可区分信息，从而获得更具鉴别力的描述符；对关键点检测网络的改进是：加入了由平均池化和卷积层构成的CrossSaliency Pooling模块，记作CSP，CSP在垂直和水平两个维度上搜集长距离的上下文信息，以增强关键点的显著性，实现对关键点的更精确定位；
2.根据权利要求1所述的基于改进PoSFeat网络的图像稀疏局部特征提取方法，
3.根据权利要求1所述的基于改进PoSFeat网络的图像稀疏局部特征提取方法，其特征在于：所述CSP由两个阶段组成：绝对显着性聚集阶段和相对显着性融合阶段；
...【技术特征摘要】
1.基于改进posfeat网络的图像稀疏局部特征提取方法，其特征在于，该改进posfeat网络是对原来posfeat网络的描述符提取网络与关键点检测网络进行改进；对描述符提取网络的改进是：设计了由relu激活函数、批量归一化和卷积层构成的discriminationcontext augmented模块，记作dca和设计了由通道层面归一化和空间层面归一化构成的discrimination information retained normalization模块，记作dirn，分别加入描述符提取网络的resnet骨干，dca增强了resnet骨干从特征图中捕获区分物体外观和空间环境的特征，提升描述符的性能，dirn在归一化的同时保留语义上的可区分信息，从而获得更具鉴别力的描述符；对关键点检测网络的改进是：加入了由平均池化和卷积层构成的crosssaliency poolin...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。