【技术实现步骤摘要】
本专利技术涉及机器人视觉感知及深度学习中目标识别与检测的相关领域，尤其是涉及一种基于前景概率的遮挡环境位姿估计方法。
技术介绍
1、目标位姿估计是机器人视觉感知领域一个重要内容，因为在机器人抓取、搬运和操纵任务中，获取作业目标精确的三维空间信息是保证任务有效执行的前提，因此目标位姿估计成为提升机器人应用能力的一个关键技术。
2、在现有技术中，如专利文件(cn202011152483.9)，介绍了一种融合rgb-d视觉特征的目标位姿估计方法；该方法利用包含目标物体的rgb图像和深度图像作为数据。具体来讲，对于rgb图像，将其输入至主干网络进行rgb特征提取和实例分割，获得多通道卷积特征图像和目标物体分割掩码，并利用目标分割掩码裁剪多通道卷积特征图像，得到每个目标物体的图像卷积特征块。接下来，对目标物体任意尺寸的图像卷积特征块进行空间金字塔池化，得到规范大小的目标rgb特征向量；对于深度图像，同样利用目标分割掩码裁剪，得到目标物体的深度图像块，并将其转换为目标物体点云，提取点云特征，获得点云特征向量。最后，融合目标的rgb特征和点云特征，进行目标位置估计和姿态估计，输出最终的位姿参数。
3、但是，上述方法在遮挡严重的杂乱场景下鲁棒性不强，遮挡的情况对算法影响较大使得应用环境受限，难以满足现实环境中的位姿估计需要。
技术实现思路
1、本专利技术实施例的目的是提供一种针对遮挡环境的位姿估计方法，以缓解现有技术中存在的在遮挡严重的杂乱场景下鲁棒性不强，遮挡的情况对算法
2、为解决上述技术问题，本专利技术实施例提供如下技术方案：
3、本专利技术第一方面提供一种针对遮挡环境的位姿估计方法，该方法基于rgb-d图像，其步骤在于：
4、s10.对rgb图像进行距离变换，生成距离图；
5、s20.计算逐像素的前景概率，并利用前景概率指导rgb-d像素点采样；
6、s30.将采样后的rgb-d数据输入双向融合网络提取特征；
7、s40.利用融合特征进行目标分割及3d关键点预测；
8、s50.通过分割结果选取目标物体的关键点，并利用meanshift算法进行关键点投票；
9、s60.对投票得出的3d关键点应用最小二乘拟合算法得到位姿参数。
10、在本专利技术第一方面的一些变更实施方式中，在步骤s10中，包括如下步骤：
11、s11.对多目标的rgb图像应用目标检测算法，得到前景目标的图像块，并取图像块边界处的像素点作为种子集合，即以固定步长沿图像块边界进行采样，得到种子集合s＝{s1,s2,…,sn}；
12、s12.图像块进行距离变换，对图像中的每个像素点计算一个与种子集合的最小距离值；该距离值的表达式为：
13、
14、其中，c(p)代表图像距离变换中的路径代价函数；对于每个像素点xt，都可以对应一组路径而每条路径都包括相邻的像素点，即pi＝{sl,x2,x3,…,xt}，表示从某个种子到该像素点的四邻接路径；
15、路径代价函数由最小栅格距离以及起点种子到终点像素点的欧氏距离组成，其表达式为：
16、
17、其中，β(p)指每个通道的最小栅格距离，即该路径中包含的最大像素值与最小像素值之差，sl、xt代表路径中起点种子与终点像素点，d(sl,xt)计算了两点的欧氏距离；平衡因子γ设置为0.05；单通道的β(p)定义为
18、
19、其中，e(xi)表示像素点xi处的像素值；
20、对图像块中每个像素点计算到种子集合的最小距离值后，生成相应的距离图。
21、在本专利技术第一方面的一些变更实施方式中，在步骤s20中，包括如下步骤：
22、s21.在得到距离图后，利用每个像素的距离值，计算逐像素的前景概率。公式如下：
23、
24、t(x)即为计算的前景概率，x表示图像块中所有的像素点。
25、s22.设定阈值a，对所有像素点进行标识。其中，t(xt)>a的像素点将其标识为前景点，其余为背景点；将阈值a设定为0.8；
26、s23.基于得到的前景标识，采样一部分前景像素点，采用随机采样保留一定比例的背景像素点；
27、在本专利技术第一方面的一些变更实施方式中，在步骤s30中，包括如下步骤：
28、s31.将深度图像通过相机内参转换为点云，并与rgb图像一同输入到网络中；
29、s32.利用两种不同的网络进行特征提取与融合；其中，对于rgb图像，应用卷积神经网络，提取每个像素点的颜色特征；对于点云数据，采用randla-net网络来进行点云特征的学习。
30、在本专利技术第一方面的一些变更实施方式中，在步骤s32中，包括如下步骤：
31、s321.对网络的每一层输出特征，基于欧式距离对另一种互补特征进行采样；
32、s322.将采样得到的特征整合压缩后，与当前特征拼接，得到相应的融合特征，以作为下一层的网络输入；
33、s323.对两条通道最后一层网络输出的外观特征与几何特征，利用相机内参将3d点云投影到2d平面，将每个点的几何特征与其对应的像素点的外观特征关联，并进行额外的维度拼接，得到rgb-d融合特征。
34、在本专利技术第一方面的一些变更实施方式中，在步骤s40中，包括如下步骤：
35、s41.网络利用rgb-d融合特征输出语义分割结果、中心点及关键点的逐点偏移量，再利用点云坐标即可得到预测的中心点与关键点；
36、其中，在网络训练过程中，设定多任务的损失函数，计算公式如下：
37、l＝ω1*lseg+ω2*lctr+ω3*lkps
38、lseg表示实例语义分割损失，采用了focal loss的损失函数，lctr和lkps分别表示中心点及关键点偏移量的预测损失，采用l1 loss来计算该部分的损失；实验过程中设定ω1＝2.0，ω2＝ω3＝1.0；
39、s42.通过改进的目标分割模块得到目标物体掩膜；其中，目标分割模块包括实例语义分割以及基于前景概率的目标分割。
40、在本专利技术第一方面的一些变更实施方式中，步骤s41包括如下步骤：
41、s411.检测rgb图像中纹理特征明显的2d关键点；
42、s412.基于相机内参，将2d关键点转换为对应的3d点云；
43、s413.选取点云中的n个关键点。
44、8.根据权利要求6所述的针对遮挡环境的位姿估计方法，其特征在于，步骤s42包括如下步骤：
45、s421.当语义分割有效时，投票得出不同物体的中心点，并区分相同语义的不同实例对象，得到目标掩膜；
46、s422.当语义分割失效，即分割本文档来自技高网...
【技术保护点】
1.一种基于前景概率的遮挡环境位姿估计方法，其特征在于，该方法基于RGB-D图像，其步骤在于：
2.根据权利要求1所述的针对遮挡环境的位姿估计方法，其特征在于，在步骤S10中，包括如下步骤：
3.根据权利要求1所述的针对遮挡环境的位姿估计方法，其特征在于，在步骤S20中，包括如下步骤：
4.根据权利要求1所述的针对遮挡环境的位姿估计方法，其特征在于，在步骤S30中，包括如下步骤：
5.根据权利要求4所述的针对遮挡环境的位姿估计方法，其特征在于，在步骤S32中，包括如下步骤：
6.根据权利要求1所述的针对遮挡环境的位姿估计方法，其特征在于，在步骤S40中，包括如下步骤：
7.根据权利要求6所述的针对遮挡环境的位姿估计方法，其特征在于，步骤S41包括如下步骤：
8.根据权利要求6所述的针对遮挡环境的位姿估计方法，其特征在于，步骤S42包括如下步骤：
9.根据权利要求1所述的针对遮挡环境的位姿估计方法，其特征在于，步骤S50中包括如下步骤：
10.根据权利要求1所述的针对遮挡环境
...【技术特征摘要】
1.一种基于前景概率的遮挡环境位姿估计方法，其特征在于，该方法基于rgb-d图像，其步骤在于：
2.根据权利要求1所述的针对遮挡环境的位姿估计方法，其特征在于，在步骤s10中，包括如下步骤：
3.根据权利要求1所述的针对遮挡环境的位姿估计方法，其特征在于，在步骤s20中，包括如下步骤：
4.根据权利要求1所述的针对遮挡环境的位姿估计方法，其特征在于，在步骤s30中，包括如下步骤：
5.根据权利要求4所述的针对遮挡环境的位姿估计方法，其特征在于，在步骤s32中，包括如下步骤...
【专利技术属性】
技术研发人员：卢鑫，贾军营，杨海波，王谦，任美慧，邢晓萌，
申请(专利权)人：沈阳工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。