【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于目标关键点的点云和图像特征融合方法。
技术介绍
1、随着传感器技术的持续发展和各个应用领域日益增加的任务需求，利用多个传感器为实际应用提供准确和可靠的多模态数据输入成为当下普遍采用的一种技术手段。尤其对于点云和图像数据，两者之间的互补融合在医疗、交通和机器人等领域中发挥着重要作用，其中，点云以离散点点的形式描述了物体在空间中的实际分布，而图像则通过一个二维阵列来记录物体在空间中的前视投影。除了具有不同的数据形式之外，由于传感器分辨率的限制，图像像素的密度通常远远超过点云中包含的点数。因此，如何发挥点云和图像数据各自的优势，而且对具有不同表现形式与数据密度的点云和图像特征进行高效且准确地融合，面临的困难对现有的多模态数据融合方法提出了极大的挑战。此外，目前现存的融合方法普遍采用以点云为主导来被动融合图像信息的特征融合方式，然而这种做法浪费了图像中丰富的目标信息，限制了图像和点云的融合能力从而对下游任务造成了影响，由此可见，在当下开发一种高质量的点云和图像特征融合方法就显得异常迫切。
技术实现思路
1、为了克服现有技术的不足，本专利技术提供了一种基于目标关键点的点云和图像特征融合方法，通过一个目标关键点解码器从图像和点云数据中联合解码出一组目标关键点，然后对这些关键点进行体素化处理和体素特征编码，再将获得的关键点体素特征与编码自点云的体素特征一起送入一个多模态体素特征融合模块中，在其中通过自适应的融合方式来获得强化的多模态体素特征，生成的多模态体
2、本专利技术解决其技术问题所采用的技术方案如下：
3、步骤1：构建点云和图像特征融合系统，包括目标关键点解码器和多模态体素特征融合模块；
4、所述目标关键点解码器，用于从图像特征和点云特征中联合解码目标关键点并提取相应的关键点特征，实现用关键点表示图像信息进而参与后续与点云特征的深度融合过程；
5、所述多模态体素特征融合模块，用于将生成的关键点进行体素化处理和体素特征编码，将获得的关键点体素特征与点云体素特征进行自适应融合得到融合的多模态体素特征；
6、步骤2：所述目标关键点解码器，在点云空间中均匀地初始化一组目标关键点，再通过一个关键点解码器，在其中的多个解码层中分别使用图像和点云信息来逐步地更新关键点的位置和特征，通过这些解码层对关键点的位置和特征进行多次迭代后，最终产生代表图像信息的目标关键点；
7、步骤3：所述多模态体素特征融合模块，对获得的关键点进行体素化处理，再使用体素特征编码器编码关键点特征，将获得的关键点体素特征与来自点云的体素特征进行自适应融合获得强化的多模态体素特征。
8、进一步地，所述目标关键点解码器用于从图像特征和点云特征中联合解码一组关键点；
9、步骤2-1：使用resnet-50和特征金字塔网络提取图像特征，然后将获得的5种尺度分别为原始图像尺寸的1/4、1/8、1/16、1/32和1/64的图像特征为目标部件提供图像信息；
10、步骤2-2：目标关键点解码器在点云范围中[(xl,xh),(yl,yh),(zl,zh)]均匀地初始化一组目标关键点nx×ny×nz，初始的关键点在x轴，y轴和z轴上的放置步长分别为(xh-xl)/nx，(yh-yl)/ny和(zh-zl)/nz，再将这些关键点投影到图像上，将它们在投影位置上对应的二维特征作为关键点的初始特征，接着在目标关键点解码器中的任一解码层中，使用pointnet构建块为每个目标关键点学习其附近的点云特征，然后基于可变形detr，将关键点的初始特征和关键点的点云特征的乘积作为目标关键点的查询值，这些查询值再被用来查询与目标有关的图像信息，通过可变形注意力强化的关键点特征不但作为输入下一个解码层中的关键点的初始特征ql，而且还额外地通过一个回归层来生成关键点偏移来更新关键点的位置信息，这些新生成的关键点将在下个解码层中迭代地使用上述方法来更新关键点的位置和特征信息；过程如公式(1)所示：
11、
12、其中，表示第l+1层的可变形detr，p表示原始点云的集合，fimg表示多尺度图像特征；
13、步骤2-3：如公式(2)所示，在每个解码层中都将更新的关键点位置通过一个线性层来编码关键点位置信息，并将这些位置信息添加到当前关键点解码层的输出中，生成的结果作为当前解码层的最终输出：
14、
15、其中，包含了一个线性层、一个归一化层和一个relu激活函数，reg(.)包含了一个线性层和一个relu激活函数；
16、步骤2-4：经过多个解码层迭代后，目标关键点解码器输出目标关键点最终的位置和特征；解码后的关键点特征再通过两个线性层和一个激活函数relu来生成目标关键点的前景分数，生成的前景分数通过交叉熵损失函数计算其与相应的标签之间的损失，目标关键点的前景标签通过判断关键点与距离关键点最近的目标建议框的相对位置得到，对位于目标候选建议框内部的关键点，为它们赋予分数值为1的关键点的前景标签，否则赋予目标部件分数值为0的前景标签。
17、进一步地，所述多模态体素特征融合模块，用于将生成的关键点进行体素化处理和体素特征编码，再将获得的关键点体素特征与点云的体素特征进行自适应融合生成强化的多模态体素特征；
18、步骤3-1：在获得关键点后，对所有的关键点进行体素化处理和体素特征编码，将编码的关键点体素特征与点云体素特征进行自适应融合，各自参与融合的权重通过将两种特征相加再分别通过一个线性层和tanh激活函数来得到；
19、步骤3-2：对于具有相同空间位置的关键点体素和点云体素，使用自适应融合方法进行融合；对于缺乏关键点体素相匹配的点云体素，在半径为0.5m的球形邻域内搜索已经匹配的点云体素，如果搜索到了已经完成匹配的点云体素，就将其对应的关键点体素作为当前进行搜素的点云体素应当匹配的关键点体素，再将其对应的关键点体素与自身的点云体素用自适应融合方法进行融合；对于在邻域内未搜索到已经匹配到关键点体素的点云体素，直接将原始的点云体素特征作为最终的体素特征。
20、本专利技术的有益效果如下：
21、1.本专利技术从图像特征和点云特征中联合解码目标关键点以充分利用图像中的语义特征和点云中的几何特征，从而生成高质量的目标关键点，这有助于提升目标检测的召回率。
22、2.本专利技术通过引入目标关键点来表示图像信息，这极大地强化了以图像为主导的点云和图像的特征融合过程，同时获得的多模态特征可以有效地提高下游网络的检测表现。
本文档来自技高网...【技术保护点】
1.一种基于目标关键点的点云和图像特征融合方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于目标关键点的点云和图像特征融合方法，其特征在于，所述目标关键点解码器用于从图像特征和点云特征中联合解码一组关键点；
3.根据权利要求1所述的一种基于目标关键点的点云和图像特征融合方法，其特征在于，所述多模态体素特征融合模块，用于将生成的关键点进行体素化处理和体素特征编码，再将获得的关键点体素特征与点云的体素特征进行自适应融合生成强化的多模态体素特征；
【技术特征摘要】
1.一种基于目标关键点的点云和图像特征融合方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于目标关键点的点云和图像特征融合方法，其特征在于，所述目标关键点解码器用于从图像特征和点云特征中联合解码一组关键点；
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。