【技术实现步骤摘要】
本公开涉及图像技术、机器视觉和深度学习，主要为带纹理物体的智能感知提供训练数据，具体涉及到一种纹理物体的6d位姿数据集的构建方法及装置。
技术介绍
1、可预知，未来将呈现人口老龄化等问题，因此服务机器人也将成为养老等繁琐任务的最优选择，而现阶段这类机器人仅在平面抓取领域比较成熟，如数据驱动的目标检测、二维抓取检测等深度学习等应用，但由于天生缺少了两个自由度，而现实状况中无法实时保证视觉传感器与抓取平面垂直，应用非常局限。因此考虑6d抓取非常有必要，这类抓取需要清楚知道目标物体相对于视觉传感器的刚性变换，其中就涉及到6d位姿估计，这也是现今机械臂抓取领域的一大难题。
2、平面抓取由于简化了位姿估计处理，可以仅从图像上即完成目标定位，这类图像数据易获取，且处理成本低，因此哪怕是传统算法去进行平面抓取，其效率也非常高；但是6d位姿估计往往还需要考虑深度这类三维数据，因为添加的深度信息能更好地增强环境感知能力，但是根据深度处理得到的点云，如果要在算法中去处理，就非常耗时和占资源，这也是传统点云配准的方式进行位姿估计效率低的主要原因，因此使用深度学习技术是现今6d位姿估计的主要趋势，其中6d位姿数据集就是其中重要的一环。
3、6d位姿数据集与目标检测这类数据集有比较大的出入，后者可以仅通过手动标签目标物体信息完成，但是前者不仅需要图像上目标物体的标签，还需要目标物体在相机中的刚性变换数据，这类数据人工操作非常繁琐和低效，因此一种6d位姿数据集的自动标注的方法非常有必要；并且制作位姿估计数据集的过程就近似不断采样的过
4、而现有技术中，公开（公告）号：cn 113920191a，公开(公告)日：2020.02.28：涉及一种基于深度相机的6d数据集构建方法，其先预设的目标物体的手动特征点，利用手动特征点数据得到这类原始点云对实际点云的初始位姿，再对初始位姿进行icp配准以获得目标物的精确位姿；但是对每一帧结果点云都进行手动特征点标记非常耗时，且icp点集配准需要有足够多的特征点，精度才能保证， 并且在采样过程中，该方法无法处理位姿摆放时，目标物体相关遮挡导致的特征点缺少问题。公开（公告）号：cn 115761407a，公开(公告)日：2023.01.17：涉及一种工业通用零件6d位姿数据集的构建方法，其使用了apriltag这类能提供特征位姿数据的位姿估计板，每一个apriltag二维码都可以提供特征点，充分考虑了遮挡问题，但是其目标物的位姿估计计算中，需要大量的apriltag二维码角点信息去进行pnp计算，但是像素角点检测的误差会传递到位姿计算中，并且该方法计算目标物体的初始位姿的过程非常复杂，需要先进行渲染，然后再手动摆放对其到渲染点云图，非常耗时。且这两类方法在一次采集的过程中，都没有充分变换目标物体在相机中的位姿，位姿的采样多样性不够充分。
技术实现思路
1、针对现有技术的不足，本专利技术的目的在于提供一种基于深度相机的纹理物体6d位姿数据集构建方法及装置，通过旋转平台和机械臂联合协作，充分实现目标物体的多位姿采样；简化目标物体初始位姿采集流程；采用二维码和球状特征点云相结合去解决遮挡带来的特征点缺少问题。
2、为实现上述目的，本专利技术提供了如下方案：
3、基于深度相机的纹理物体6d位姿数据集构建装置，其包括机械臂视觉装置和旋转平台。
4、机械臂视觉装置包括机械臂、相机安装架、型号为realsensed455的深度相机和tcp工具末端，机械臂底座固定在承物桌上，相机安装架固定在机械臂末端关节，深度相机固定在相机安装架上，tcp工具末端固定在机械臂末端法兰；
5、旋转平台包括目标物、aruco码、位姿标定板、旋转转台和转接板，转接板与乘物桌固定连接，旋转转台固定在转接板之上，位姿标定板固定在旋转转台的可旋转面上， aruco码固定在位姿标定板上，目标物体固定在位姿标定板的置物空白面之上；
6、优选的，机械臂与承物桌螺栓连接，相机安装架利用螺栓的预紧力固定在机械臂的末端关节处，深度相机与相机安装架以螺栓螺母连接，使用螺栓将tcp工具末端连接到机械臂末端，深度相机随着机械臂末端位姿变换；转接板以螺栓连接固定在承物桌上，旋转转台同样通过螺栓连接固定在转接板上，位姿标定板粘连旋转转台的可旋转面上，目标物体也粘连在位姿标定板的置物空白面之上。
7、本专利技术还提供了一种基于深度相机的纹理物体6d位姿数据集构建方法，应用所述的基于深度相机的纹理物体6d位姿数据集构建方法装置实现，包括：
8、步骤s1：使用solidworks对目标物建模，进行uv纹理贴图，加载到meshlab中进行模型点云化，依次进行点云处理操作，最终输出带纹理的目标物模型点云，并预设目标物坐标系下的模型最远点作为目标物特征点；
9、步骤s2：将旋转平台处于静态情况，使用深度相机拍摄位姿采集板和目标物体的rgb和depth图像，并记录机械臂末端初始位姿，利用aruco码获得有序的初始球特征点；
10、步骤s3：控制机械臂逐个到达所拍摄图像中的目标物体可视特征点，并记录到达的tcp坐标，根据坐标系转换关系解算目标物的初始位姿。
11、步骤s4：启动旋转平台按固定速率旋转，并设置机械臂程序控制末端位姿变换，在运行期间使用深度相机按固定频率采集rgb-d图像，同时记录每次变换的末端位姿，计算间隔末端位姿时相机坐标系之间的相对矩阵关系。
12、步骤s5：在完成数据采集后输出的图像，求解每一帧位姿的位姿标定板上的球心特征点集，并求解间隔帧之间球特征点的相对位姿，再利用目标物的初始位姿，计算出逐帧图像中目标物的真实位姿。
13、步骤s6：根据目标物点云模型及其真实位姿，将其重投影到真实位姿对应的每一帧图像中，获得最小包围框及掩码图像等位姿数据集内容。
14、优选的，所述步骤s1中，从solidworks对目标物建模，进行uv纹理贴图直到输出带纹理的目标物模型点云，该方法包括：
15、步骤 s11 利用solidworks按原尺寸对目标物建模，并导出为obj格式，设置所拍摄的目标物纹理图作为mtl材质内容，完成uv贴图。
16、步骤 s12 将纹理贴图后的目标物obj模型导入meshlab软件中，进行采样等点云处理，输出目标物ply点云文件，重新设置点云坐标系并计算最远点作为目标物坐标系下的预设特征点并保存为。
17、优选的，所述步骤s2中，将旋转平台处于静态情况，使用深度相机拍摄位姿采集板和目标物体的rgb和depth图像，并记录机械臂末端初始位姿，利用aruco码获得有序的初始球特征点，具体包括：
18、步骤s21：将目标物放置到旋转平台的位姿标定板承物处，保持旋转平台和机械臂不动，记录初始本文档来自技高网...
【技术保护点】
1.一种基于深度相机的纹理物体6D位姿数据集构建装置，其特征在于，包括：机械臂视觉装置和旋转平台；
2.根据权利要求1所述的基于深度相机的纹理物体6D位姿数据集构建装置，其特征在于，机械臂与承物桌螺栓连接，相机安装架利用螺栓固定在机械臂的末端关节处，深度相机与相机安装架以螺栓螺母连接，使用螺栓将TCP工具末端连接到机械臂末端，深度相机随着机械臂末端位姿变换而变换；转接板以螺栓连接固定在承物桌上，旋转转台同样通过螺栓连接固定在转接板上，位姿标定板粘连在旋转转台的可旋转面上，目标物体也粘连在位姿标定板的置物空白面之上，目标物随旋转转台的可旋转面一起旋转。
3.一种基于深度相机的纹理物体6D位姿数据集构建方法，其特征在于，应用权利要求1-2任一项所述的基于深度相机的纹理物体6D位姿数据集构建装置实现，包括：
4.根据权利要求3所述的一种基于深度相机的纹理物体6D位姿数据集构建方法，其特征在于，所述步骤S2中，根据静态情况下深度相机采集到的Aruco码和球状标志物获取位姿特征点数据方法包括：
5.根据权利要求4所述的一种基于深度相机的纹理物
6.根据权利要求5所述的基于深度相机的纹理物体6D位姿数据集构建方法，其特征在于，步骤S4：启动旋转平台按固定速率旋转，并设置机械臂程序控制末端位姿变换，在运行期间使用深度相机按固定频率采集RGB-D图像，同时记录每次变换的末端位姿，计算间隔末端位姿时相机坐标系之间的相对矩阵关系方法包括：
7.根据权利要求6所述的基于深度相机的纹理物体6D位姿数据集构建方法，其特征在于，所述步骤S5，在完成数据采集后输出的图像后，根据求解出的每一帧位姿的位姿标定板上的球心特征点集，进行求解间隔帧之间球特征点的相对位姿，再利用目标物的初始位姿，计算出逐帧图像中目标物的真实位姿方法包括：
8.根据权利要求7所述的基于深度相机的纹理物体6D位姿数据集构建方法，其特征在于，所述步骤S52中，球状特征的球心点集进行求解和排序的方法包括：
9.根据权利要求8所述的基于深度相机的纹理物体6D位姿数据集构建方法，其特征在于，所述步骤S53中，计算每帧的目标物坐标系相对于相机坐标系的真实位姿的方法包括：
10.根据权利要求9所述的基于深度相机的纹理物体6D位姿数据集构建方法，其特征在于，所述步骤S6，根据目标物点云模型及其真实位姿，将其重投影到真实位姿对应的每一帧图像中，获得最小包围框及掩码图像等位姿数据集内容的方法包括：
...【技术特征摘要】
1.一种基于深度相机的纹理物体6d位姿数据集构建装置，其特征在于，包括：机械臂视觉装置和旋转平台；
2.根据权利要求1所述的基于深度相机的纹理物体6d位姿数据集构建装置，其特征在于，机械臂与承物桌螺栓连接，相机安装架利用螺栓固定在机械臂的末端关节处，深度相机与相机安装架以螺栓螺母连接，使用螺栓将tcp工具末端连接到机械臂末端，深度相机随着机械臂末端位姿变换而变换；转接板以螺栓连接固定在承物桌上，旋转转台同样通过螺栓连接固定在转接板上，位姿标定板粘连在旋转转台的可旋转面上，目标物体也粘连在位姿标定板的置物空白面之上，目标物随旋转转台的可旋转面一起旋转。
3.一种基于深度相机的纹理物体6d位姿数据集构建方法，其特征在于，应用权利要求1-2任一项所述的基于深度相机的纹理物体6d位姿数据集构建装置实现，包括：
4.根据权利要求3所述的一种基于深度相机的纹理物体6d位姿数据集构建方法，其特征在于，所述步骤s2中，根据静态情况下深度相机采集到的aruco码和球状标志物获取位姿特征点数据方法包括：
5.根据权利要求4所述的一种基于深度相机的纹理物体6d位姿数据集构建方法，其特征在于，所述步骤s31中，根据静态目标物图像数据，以及控制机械臂的tcp末端到达目标物特征点的数据，计算目标物的初始位姿的方法包括：
【专利技术属性】
技术研发人员：高兴宇，唐国豪，高志朋，赵菁，李煜，刘亚尼，胡鑫，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。