【技术实现步骤摘要】
本申请涉及机器视觉，更具体地，涉及一种位姿估计方法、设备及存储介质。
技术介绍
1、近年来随着科技水平的提高，尤其是人工智能技术的迅猛发展，制造业和服务业正经历新的转型升级，智能机器人在相关领域发挥着越来越重要的作用。在服务业，服务型机器人用手臂抓取到摆放在桌面上的物体并操作相应物体是一类常见的任务；在工业生产中，工业机器人将物料框中杂乱堆放的物体拾取并归放到指定位置是一类常见的任务场景。
2、然而，上述场景中，物品数量较多且多个物品随机摆放，可能存在遮挡和堆叠现象，当前的位姿估计方法不同遮挡度导致位姿估计的准确性较低，影响后续对物品的抓取。
技术实现思路
1、本申请实施例提供了位姿估计方法、设备及存储介质，在对目标对象的rgb图像进行实例分割之后，并对满足遮挡度要求的实例进行位姿估计，通过遮挡度进行实例筛选，提升位姿估计的准确性和效率。
2、第一方面，本申请实施例提供了一种位姿估计方法，包括：
3、获取目标对象的rgb图像和深度图，所述目标对象包括m个子目标；
4、将所述rgb图像输入实例分割模型，得到n个子目标的掩码和遮挡度；
5、确定所述n个子目标中遮挡度小于遮挡度阈值的p个子目标；
6、依据所述p个子目标的掩码对所述rgb图像和所述深度图分别进行裁剪处理，得到所述p个子目标中每个子目标对应的rgb裁切图像和深度裁切图；
7、将所述p个子目标对应的所述rgb裁切图像和所述深度裁切图输入位姿估计
8、如此，在获取目标对象的rgb图像和深度图之后，通过实例分割模型对rgb图像进行实例分割，得到rgb图像中多个子目标的掩码和遮挡度；然后确定满足遮挡度要求的子目标，通过遮挡度对rgb图像中多个子目标进行筛选，以筛选出遮挡度满足要求的子目标；然后通过位姿估计模型估计遮挡度满足要求的子目标的位姿；通过遮挡度对多个子目标进行筛选，筛选出被遮挡较少或无遮挡的子目标，由于遮挡较少，位姿估计结果的准确性更高；通过筛选减少位姿估计的子目标的数量，以提升位姿估计的效率。通过获取多个子目标的6d位姿，以依据6d位姿确定多个子目标的位置和姿态，以便于机械设备依据位置和姿态进行抓取前的定位识别，通过准确的抓取识别，以提升抓取的准确性。
9、在一些实施例中，所述实例分割模型包括特征提取与融合、中间结果生成和目标结果估计；
10、所述将所述rgb图输入实例分割模型，得到n个子目标的掩码和遮挡度，包括：
11、将所述rgb图像输入所述特征提取与融合，得到rgb特征图；
12、将所述rgb特征图输入所述中间结果生成，得到感兴趣区域特征；
13、将所述感兴趣区域特征输入所述目标结果估计的全连接神经网络，得到n个子目标的遮挡度；
14、将所述感兴趣区域特征输入所述目标结果估计的掩码预测分支，得到n个子目标的掩码。
15、在一些实施例中，所述特征提取与融合包括密集连接的卷积网络；
16、所述将所述rgb图像输入所述特征提取与融合，得到rgb特征图，包括：
17、将所述rgb图像输入所述密集连接的卷积网络，得到rgb特征图。
18、在一些实施例中，所述中间结果生成包括roi bic-align；
19、所述将所述rgb特征图输入所述中间结果生成，得到感兴趣区域特征，包括：
20、将所述rgb特征图输入所述roi bic-align，得到感兴趣区域特征。
21、在一些实施例中，所述掩码预测分支包括dct-mask分支；
22、所述将所述感兴趣区域特征输入所述目标结果估计的掩码预测分支，得到n个子目标的掩码，包括：
23、将所述感兴趣区域特征输入所述目标结果估计的dct-mask分支，得到n个子目标的掩码。
24、在一些实施例中，所述位姿估计模型包括第一点云特征提取网络、卷积神经网络、第二点云特征提取网络和姿态预测器；
25、所述将所述p个子目标对应的所述rgb裁切图像和所述深度裁切图输入位姿估计模型，得到所述p个子目标的6d位姿，包括：
26、确定所述p个子目标对应的深度裁切图的点云信息；
27、将所述点云信息输入所述第一点云特征提取网络，得到点云融合特征，所述点云融合特征包括点云特征和点云局部特征(定义与区别点)；
28、将所述p个子目标对应的所述rgb裁切图像和所述融合特征输入所述卷积神经网络，得到识别特征；
29、将所述识别特征和所述点云信息输入所述第一点云特征提取网络，得到点云逐点特征；
30、将所述点云逐点特征输入所述姿态预测器，得到所述p个子目标的6d位姿。
31、在一些实施例中，所述第一点云特征提取网络包括全卷积几何特征网络和点云网络；
32、所述将所述点云信息输入所述第一点云特征提取网络，得到点云融合特征，包括：
33、将所述点云信息输入所述全卷积几何特征网络，得到点云特征；
34、将所述点云信息输入所述点云网络，得到点云局部特征；
35、依据所述点云特征和所述点云局部特征得到点云融合特征。
36、在一些实施例中，所述方法还包括：依据虚拟仿真数据集对所述实例分割模型和/或所述位姿估计模型进行训练；
37、在所述依据虚拟仿真数据集对所述实例分割模型和/或所述位姿估计模型进行训练之前，所述方法还包括：
38、通过数据增强策略对虚拟仿真数据集进行数据增强，所述数据增强策略包括：
39、通过预设概率对虚拟仿真数据集进行随机灰度；
40、通过原图的预设部分对虚拟仿真数据集进行随机裁剪；
41、通过预设角度对虚拟仿真数据集进行随机旋转；
42、其中，所述预设概率的范围为0.4～0.6，所述预设部分为原图中0.4～0.6的部分，所述预设角度的范围为-40°～+40°。
43、第二方面，提供一种位姿估计设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面任一项所述的方法。
44、第三方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的方法。
45、可以理解地，上述提供的第二方面、第三方面均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可以参考上文所提供的对应的方法中的有益效果，此处不再赘述。
本文档来自技高网...【技术保护点】
1.一种位姿估计方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述实例分割模型包括特征提取与融合、中间结果生成和目标结果估计；
3.如权利要求2所述的方法，其特征在于，所述特征提取与融合包括密集连接的卷积网络；
4.如权利要求2或3所述的方法，其特征在于，所述中间结果生成包括ROI bic-Align；
5.如权利要求2或3所述的方法，其特征在于，所述掩码预测分支包括DCT-Mask分支；
6.如权利要求1所述的方法，其特征在于，所述位姿估计模型包括第一点云特征提取网络、卷积神经网络、第二点云特征提取网络和姿态预测器；
7.如权利要求6所述的方法，其特征在于，所述第一点云特征提取网络包括全卷积几何特征网络和点云网络；
8.如权利要求1所述的方法，其特征在于，所述方法还包括：
9.一种位姿估计设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
...【技术特征摘要】
1.一种位姿估计方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述实例分割模型包括特征提取与融合、中间结果生成和目标结果估计；
3.如权利要求2所述的方法，其特征在于，所述特征提取与融合包括密集连接的卷积网络；
4.如权利要求2或3所述的方法，其特征在于，所述中间结果生成包括roi bic-align；
5.如权利要求2或3所述的方法，其特征在于，所述掩码预测分支包括dct-mask分支；
6.如权利要求1所述的方法，其特征在于，所述位姿估计模型包括第一点云特征提取网络、卷积神经网络...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。