一种基于深度学习的特征点检测与描述子生成方法技术

一种基于深度学习的特征点检测与描述子生成方法，包括如下步骤：S100：构建新的卷积神经网络；S200：利用所述新的卷积神经网络预测输入图像的特征点并且生成描述子向量；其中，所述新的卷积神经网络结构由两部分组成，第一部分为编码器，用于输入图像的特征编码；第二部分为3个解码器，第一个解码器生成描述子特征图，第二个解码器生成特征点的独特性特征图，第三个解码器由不同层的神经网络特征拼接作为输入生成准确度特征图。本方法生成的特征点具有更高的定位精度和独特性，有助于提高特征点匹配的性能以及后续任务的精度。征点匹配的性能以及后续任务的精度。征点匹配的性能以及后续任务的精度。

【技术实现步骤摘要】
一种基于深度学习的特征点检测与描述子生成方法


[0001]本公开属于图像处理
，特别涉及一种基于深度学习的特征点检测与描述子生成方法。

技术介绍

[0002]在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。特征点通常包含点在图像上的位置信息，而描述子通常是一个向量，它描述了特征点周围像素点的信息。特征点检测与描述是计算机视觉领域最基础、最重要的研究领域之一，能够精确地提取并描述图像中的特征点是很多计算机视觉任务的前置任务，比如相机标定、位姿估计、立体匹配、同时定位与构图 (Simultaneous Localization and Mapping，SLAM)、三维重建等。
[0003]特征点检测器的设计，需要考虑抗噪性、尺度不变性、视点不变性、光照不变性、快速检测和描述等几个。传统的特征点检测器设计复杂，一般只能兼顾以上某一个或者某几个方面，尤其对光照和尺度变化的鲁棒性较差，难以适应多变的实际场景。由于深度学习在当前计算机视觉任务中的优异表现，基于深度神经网络的方法逐渐成为该领域的研究热点。目前，具有代表性的深度学习通用模型有如下两种： 1)SuperPoint、R2D2等方法前端共享一个特征编码网络，后端分成两个分支解码网络，同时进行特征点的检测和描述子的生成。2) D2
‑
Net和ASLFeat等方法使用单个网络进行图像特征的提取，特征向量直接作为描述子向量，而特征点的位置由特征向量预测得到。上述方法在实际应用中存在以下问题：首先，特征点的定位精度不足，通过可视化神经网络的各层后发现，经过多层卷积以后图像原本的细节特征丢失，边缘位置发生偏移，这就导致了特征点的定位精度降低；其次，特征点的独特性不足，也就是提取的特征点中存在大量描述子相似的点，而相似的点会给后续任务带来大量的误匹配，进而导致位姿估计的精度降低。

技术实现思路

[0004]鉴于此，本公开提供了一种基于深度学习的特征点检测与描述子生成方法，包括如下步骤：
[0005]S100：构建新的卷积神经网络；
[0006]S200：利用所述新的卷积神经网络预测输入图像的特征点并且生成描述子向量；
[0007]其中，所述新的卷积神经网络结构由两部分组成，第一部分为编码器，用于输入图像的特征编码；第二部分为3个解码器，第一个解码器生成描述子特征图，第二个解码器生成特征点的独特性特征图，第三个解码器由不同层的神经网络特征拼接作为输入生成准确度特征图。
[0008]通过上述技术方案，本方法利用神经网络预测输入图像的特征点并且生成描述子向量。与其他深度学习的方法相比，本方法生成的特征点具有更高的定位精度和独特性，有助于提高特征点匹配的性能以及后续任务的精度。
[0009]本方法带来的有益效果为：首先，针对特征点的定位精度不足的问题，本方法采用浅层与深层特征融和的操作，为特征点检测器中引入底层细节特征，并且利用图像的梯度作为损失函数，从而提高检测器的定位精度。其次，针对特征点的独特性不足的问题，设计了独特性损失函数，将假定的特征点与图像中所有的其他特征点的描述子进行比较，度量其独特性。最后，使用HPatches数据集和Aachen
‑
Dayand Night数据集，充分证实了本方法在图像匹配和视觉定位等具体任务中的优异表现。
附图说明
[0010]图1是本公开一个实施例中所提供的一种基于深度学习的特征点检测与描述子生成方法流程图；
[0011]图2是本公开一个实施例中基于深度学习的特征点检测与描述子生成方法的结构图；
[0012]图3(a)至图3(c)是本公开一个实施例中不同层特征图的可视化示意图；
[0013]图4(a)、图4(b)是本公开一个实施例中网格图像与简单几何图像示意图；
[0014]图5(a)至图5(c)是本公开一个实施例中R2D2与本方法的热力图对比图。
具体实施方式
[0015]参见图1，在一个实施例中，其公开了一种基于深度学习的特征点检测与描述子生成方法，包括如下步骤：
[0016]S100：构建新的卷积神经网络；
[0017]S200：利用所述新的卷积神经网络预测输入图像的特征点并且生成描述子向量；
[0018]其中，所述新的卷积神经网络结构由两部分组成，第一部分为编码器，用于输入图像的特征编码；第二部分为3个解码器，第一个解码器生成描述子特征图，第二个解码器生成特征点的独特性特征图，第三个解码器由不同层的神经网络特征拼接作为输入生成准确度特征图。
[0019]在这个实施例中，通过多层特征融合将浅层特征引入检测器，解决特征点的位置偏移问题；并且提出深浅层特征损失函数，从而提高特征点的定位精度。设计损失函数对特征点的独特性进行评价，只保留具有较高独特性的点，以防止后续错误匹配。在通用的图像匹配和视觉定位数据集上对本方法进行评测，实验结果显示优于现有方法，其中在HPatches数据集上平均匹配精度提升到73.2％，而在Aachenday
‑
night数据集上的高精度定位部分也有了显著提升。
[0020]确定神经网络的结构如图2所示，由两部分组成，第一部分为解码器，解码器是前端共享的特征提取层，它是由全卷积的L2
‑
Net组成，用于输入图像的特征编码；第二部分为3个解码器分支，第一个解码器生成描述子的特征图，第二个解码器生成特征点的独特性特征图，第三个解码器由不同层的神经网络特征拼接作为输入，并最终生成准确度特征图。
[0021]在另一个实施例中，所述编码器由9个卷积层构成，前6个卷积层采用大小为3的卷积核，后三个卷积层采用大小为2的卷积核。
[0022]在另一个实施例中，所述编码器中采用膨胀卷积代替一般卷积与下采样过程。
[0023]就该实施例而言，为保证特征层分辨率不变的同时增强感受野，我们采用膨胀卷
积代替一般卷积与下采样过程。
[0024]在另一个实施例中，所述由不同层的神经网络特征拼接作为输入具体是指：由编码器的第一层、第二层、第三层和第九层特征拼接作为输入。
[0025]就该实施例而言，对于神经网络的第二部分包括3个解码器分支，用于不同学习任务的解码器网络。第一个解码器生成描述子特征图，它对图像的每一个像素点都用一个D维的向量进行描述。第二个解码器生成特征点的独特性特征图，它可以排除描述子相似的点，防止特征点的误匹配。第三个解码器生成特征点的准确度特征图，它可以提供准确并且可重复的特征点的位置。为了提高特征点定位的精度，保证特征图包含对浅层细节特征的感知，这一部分采用了特征融合操作。图2中展示了采取第一层，第二层，第三层以及第九层卷积层的输出进行拼接的特征融合操作。
[0026]在另一个实施例中，采用深浅层特征损失函数来训练所述准确度特征图。
[0027]就该实施例而言，图3(a)为神经网络第一层特征图的可视化表示，图3(b)为神经网络第五层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的特征点检测与描述子生成方法，包括如下步骤：S100：构建新的卷积神经网络；S200：利用所述新的卷积神经网络预测输入图像的特征点并且生成描述子向量；其中，所述新的卷积神经网络结构由两部分组成，第一部分为编码器，用于输入图像的特征编码；第二部分为3个解码器，第一个解码器生成描述子特征图，第二个解码器生成特征点的独特性特征图，第三个解码器由不同层的神经网络特征拼接作为输入生成准确度特征图。2.根据所述权利要求1的方法，优选的，所述编码器由9个卷积层构成，前6个卷积层采用大小为3的卷积核，后三个卷积层采用大小为2的卷积核。3.根据所述权利要求1的方法，所述编码器中采用膨胀卷积代替一般卷积与下采样过程。4.根据所述权利要求1的方法，所述由不同层的神经网络特征拼接作为输入具体是指：由编码器的第一层、第二层、第三层和第九层特征拼接作为输入。5.根据所述权利要求1的方法，采用深浅层特征损...

【专利技术属性】
技术研发人员：任鹏举，宋翔，丁焱，景鑫，焦崇珊，毛艺钧，于航，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：