抓取物的位姿确定方法、装置及电子设备制造方法及图纸

本申请涉及一种抓取物的位姿确定方法、装置、电子设备及可读存储介质，涉及视觉控制技术领域，该方法包括：获取目标平面相对于相机坐标系中目标坐标平面的旋转角度；其中，目标平面根据抓取物末端的末端点云数据得到，末端点云数据根据抓取物的初始点云数据和对末端的定位结果得到；获得旋转角度对应的旋转矩阵；根据旋转矩阵，计算目标坐标轴对应的偏移量；其中，目标坐标轴与目标坐标平面垂直；根据目标坐标平面的旋转角度和目标坐标轴对应的偏移量，获得抓取物在相机坐标系的位姿。获得抓取物在相机坐标系的位姿。获得抓取物在相机坐标系的位姿。

Method, device and electronic equipment for determining the position and posture of the grabbed object

【技术实现步骤摘要】
抓取物的位姿确定方法、装置及电子设备


[0001]本申请实施例涉及视觉控制
，更具体地，涉及一种抓取物的位姿确定方法、装置、电子设备及可读存储介质。

技术介绍

[0002]在例如头戴式显示设备(Head Mount Display，HMD)等虚拟现实(Virtual Reality，VR)产品中，印刷电路板(Printed circuit board，PCB)主板布局14+柔性电路板(Flexible Printed Circuit，FPC)插槽，使用人力插拔存在插拔效率低且不良率较高，人工成本与质量成本偏高的问题。在此情况下，通过机械臂来自动组装VR产品中的FPC，不仅能够有效提高插拔效率，降低不良率，还能够节省大量人工成本。
[0003]机械臂对物体抓取需要得到物体的准确位姿。实际情况中，VR产品普遍外形复杂且体积较大，对于VR产品中用于连接电路板的软排线而言，由于软排线的末端的自由度较高，在一些情况下，通常无法通过工装设计将软排线约束到一个稳定的姿态，在另一些情况下，软排线与VR产品中的其他部件为连体设计，例如软排线固定在该其他部件上，机械臂抓取软排线的过程中由于无法得到软排线的准确位姿而极易撕扯软排线，使软排线遭到破坏。
[0004]由此可见，上述情况对目前工业生产中软排线位姿确定的准确性提出了更高的要求。

技术实现思路

[0005]本申请实施例的一个目的是提供一种抓取物的位姿确定的新的技术方案，解决现有技术中获取的抓取物的位姿准确性偏低的技术问题。
[0006]根据本申请的第一方面，提供了一种抓取物的位姿确定方法，包括：获取目标平面相对于相机坐标系中目标坐标平面的旋转角度；其中，目标平面根据抓取物末端的末端点云数据得到，末端点云数据根据抓取物的初始点云数据和对末端的定位结果得到；获得旋转角度对应的旋转矩阵；根据旋转矩阵，计算目标坐标轴对应的偏移量；其中，目标坐标轴与目标坐标平面垂直；根据目标坐标平面的旋转角度和目标坐标轴对应的偏移量，获得抓取物在相机坐标系的位姿。
[0007]可选地，获取目标平面相对于相机坐标系中目标坐标平面的旋转角度之前，该方法还包括：获取抓取物的初始点云数据；根据初始点云数据和预设的空间范围模型，截取位于空间范围模型内的第一点云数据作为末端点云数据。
[0008]可选地，根据初始点云数据和预设的空间范围模型，截取位于空间范围模型内的第一点云数据作为末端点云数据之后，该方法还包括：对第一点云数据垂直投影，获得第一投影图像；根据第一投影图像和预设的平面范围模型，截取位于平面范围模型内的目标投影图像；获取目标投影图像对应的第二点云数据，将第二点云数据作为末端点云数据。
[0009]可选地，根据旋转矩阵，计算目标坐标轴对应的偏移量，包括：根据第一旋转角度
对应的第一旋转矩阵和第二旋转角度对应的第二旋转矩阵，确定目标旋转矩阵；其中，第一旋转角度为目标平面相对于相机坐标系中第一目标坐标平面的旋转角度，第二旋转角度为目标平面相对于相机坐标系中第二目标坐标平面的旋转角度；根据目标旋转矩阵，获取目标旋转角度；根据目标旋转角度获取末端的中心点坐标；根据目标旋转矩阵的逆矩阵以及中心点坐标，确定目标坐标轴对应的偏移量。
[0010]可选地，根据目标旋转矩阵，获取目标旋转角度，包括：获取目标旋转矩阵和目标平面的第三点云数据的乘积，得到第四点云数据；其中，第三点云数据根据对末端点云数据进行平面拟合得到；对第四点云数据进行垂直投影，获得第二投影图像；获取第二投影图像中第一边与设定坐标轴的目标夹角作为目标旋转角度；其中，第一边的长度大于或等于第二投影图像中其他边的长度，设定坐标轴与第一边的夹角小于或等于设定坐标轴与其他边中任一边的夹角。
[0011]可选地，末端呈平板状或近似平板状，根据目标旋转矩阵，获取目标旋转角度，包括：将第二投影图像绕旋转坐标轴旋转目标旋转角度，得到旋转图像；其中，旋转坐标轴垂直于第二投影图像；获取旋转图像的中心点的平面坐标；根据目标平面和目标旋转矩阵，确定末端在旋转坐标轴方向的上的高度坐标；根据平面坐标和高度坐标，获取末端的中心点坐标。
[0012]根据本申请的第二方面，还提供了一种抓取物的位姿确定装置，包括：第一获取模块，用于获取目标平面相对于相机坐标系中目标坐标平面的旋转角度；其中，目标平面根据抓取物末端的末端点云数据得到，末端点云数据根据抓取物的初始点云数据和对末端的定位结果得到；获得模块，用于获得旋转角度对应的旋转矩阵；计算模块，用于根据旋转矩阵，计算目标坐标轴对应的偏移量；其中，目标坐标轴与目标坐标平面垂直；处理模块，用于根据目标坐标平面的旋转角度和目标坐标轴对应的偏移量，获得抓取物在相机坐标系的位姿。
[0013]可选地，该装置还包括：第二获取模块，用于在第一获取模块获取目标平面相对于相机坐标系中目标坐标平面的旋转角度之前，获取抓取物的初始点云数据；第一截取模块，用于根据初始点云数据和预设的空间范围模型，截取位于空间范围模型内的第一点云数据作为末端点云数据。
[0014]可选地，该装置还包括：第一投影模块，用于在第一截取模块根据初始点云数据和预设的空间范围模型，截取位于空间范围模型内的第一点云数据作为末端点云数据之后，对第一点云数据垂直投影，获得第一投影图像；第二截取模块，用于根据第一投影图像和预设的平面范围模型，截取位于平面范围模型内的目标投影图像；第三获取模块，用于获取目标投影图像对应的第二点云数据，将第二点云数据作为末端点云数据。
[0015]可选地，计算模块包括：第一确定子模块，用于根据第一旋转角度对应的第一旋转矩阵和第二旋转角度对应的第二旋转矩阵，确定目标旋转矩阵；其中，第一旋转角度为目标平面相对于相机坐标系中第一目标坐标平面的旋转角度，第二旋转角度为目标平面相对于相机坐标系中第二目标坐标平面的旋转角度；第一获取子模块，用于根据目标旋转矩阵，获取目标旋转角度；第二获取子模块，用于根据目标旋转角度获取末端的中心点坐标；第二确定子模块，用于根据目标旋转矩阵的逆矩阵以及中心点坐标，确定目标坐标轴对应的偏移量。
[0016]可选地，根据第一获取子模块用于：获取目标旋转矩阵和目标平面的第三点云数据的乘积，得到第四点云数据；其中，第三点云数据根据对末端点云数据进行平面拟合得到；对第四点云数据进行垂直投影，获得第二投影图像；获取第二投影图像中第一边与设定坐标轴的目标夹角作为目标旋转角度；其中，第一边的长度大于或等于第二投影图像中其他边的长度，设定坐标轴与第一边的夹角小于或等于设定坐标轴与其他边中任一边的夹角。
[0017]可选地，末端呈平板状或近似平板状，第二获取子模块用于：将第二投影图像绕旋转坐标轴旋转目标旋转角度，得到旋转图像；其中，旋转坐标轴垂直于第二投影图像；获取旋转图像的中心点的平面坐标；根据目标平面和目标旋转矩阵，确定末端在旋转坐标轴方向的上的高度坐标；根据平面坐标和高度坐标，获取末端的中心点坐标。
[0018]根据本申请的第三方面，还提供了一种电子设备，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抓取物的位姿确定方法，其特征在于，包括：获取目标平面相对于相机坐标系中目标坐标平面的旋转角度；其中，所述目标平面根据抓取物末端的末端点云数据得到，所述末端点云数据根据所述抓取物的初始点云数据和对所述末端的定位结果得到；获得所述旋转角度对应的旋转矩阵；根据所述旋转矩阵，计算所述目标坐标轴对应的偏移量；其中，所述目标坐标轴与目标坐标平面垂直；根据所述目标坐标平面的旋转角度和所述目标坐标轴对应的偏移量，获得所述抓取物在所述相机坐标系的位姿。2.根据权利要求1所述的方法，其特征在于，所述获取目标平面相对于相机坐标系中目标坐标平面的旋转角度之前，所述方法还包括：获取所述抓取物的所述初始点云数据；根据所述初始点云数据和预设的空间范围模型，截取位于所述空间范围模型内的第一点云数据作为所述末端点云数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述初始点云数据和预设的空间范围模型，截取位于所述空间范围模型内的第一点云数据作为所述末端点云数据之后，所述方法还包括：对所述第一点云数据垂直投影，获得第一投影图像；根据所述第一投影图像和预设的平面范围模型，截取位于所述平面范围模型内的目标投影图像；获取所述目标投影图像对应的第二点云数据，将所述第二点云数据作为所述末端点云数据。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述根据所述旋转矩阵，计算所述目标坐标轴对应的偏移量，包括：根据第一旋转角度对应的第一旋转矩阵和第二旋转角度对应的第二旋转矩阵，确定目标旋转矩阵；其中，第一旋转角度为目标平面相对于相机坐标系中第一目标坐标平面的旋转角度，第二旋转角度为目标平面相对于相机坐标系中第二目标坐标平面的旋转角度；根据所述目标旋转矩阵，获取目标旋转角度；根据所述目标旋转角度获取所述末端的中心点坐标；根据所述目标旋转矩阵的逆矩阵以及所述中心点坐标，确定所述目标坐标轴对应的偏移量。5.根据权利要求4所述的方法，其特征在于，所述根据所述目标旋转矩阵，获取目标旋转角度，包括：获取所述目标旋转矩阵和所述目标平面的第三点云数据的乘积，得到第四点云数据；其中，所述第三点云数据根据对所述末端点云数据进行平面拟合得到；对所述第四点云数据进行垂直投影，获得第二投影图像；获取所述第二投影图像中第一边与设定坐标轴的目标夹角作为所述目标旋转角...

【专利技术属性】
技术研发人员：盖增园，迟小羽，
申请(专利权)人：北京航空航天大学青岛研究院，
类型：发明
国别省市：