【技术实现步骤摘要】
本专利技术涉及物体检测，尤其涉及一种电力线夹六自由度姿态估计方法、装置及存储介质。
技术介绍
1、高压输电线路中长期使用的电力线夹易发热老化、折断，所以需要对电力线夹进行定期的更换。现有采用大型机械手对电力线夹进行更换的方式，对一个二维物体检测出一个平面框，但是这在实际应用中具有很多缺陷，例如在存在遮挡以及光照强度过高的情况下很难检测出原本的物体；而现有的三维检测技术还存在稳定性差、鲁棒性差等特点，难以准确地检测出具有遮挡或者光照强度高的电力线夹，这对机械臂进行抓取更换带来很大的不便；而现有的6d(six degrees of freedom,六自由度)姿态估计方法中，由于无纹理物体表面固有的匹配模糊性，噪声造成的错匹配误差是不可避免的，往往导致一个对应场对应多个6d位姿，拟合误差相似，这导致训练过程收敛到次优，阻碍了6d姿态估计的整体性能，对电力线检测精度低。
2、因此，现有的检测电力线夹的方法无法在具有遮挡的情况下进行预测，而且大多数是通过人工进行调整安装，大大影响了作业效率，现有的6d姿态估计方法还存在精度低等情况，对于需要实时检测的电力线夹更换难以胜任。同时，在一个杂乱的环境中，由于相机在拍照时物体背后信息会被遮挡，所以可以使用的对象信息就会受到严重限制。此外，在存在遮挡的情况下直接回归3d旋转的参数非常困难。
技术实现思路
1、本专利技术提供了一种电力线夹六自由度姿态估计方法、装置及存储介质，以实现在杂乱、遮挡以及高光强度环境中准确完整地检测出电力线夹的三维位
2、本专利技术提供了一种电力线夹六自由度姿态估计方法，包括：
3、获取电力线夹的图像，所述图像包括：rgb图像和深度图；对所述图像进行特征提取，将提取到的特征分别输入第一解码器网络和第二解码器网络进行处理，以使所述第一解码器网络对所述特征进行第一解码处理得到自身遮挡映射信息；所述第二解码器网络对所述特征进行第二解码处理得到2d-3d点匹配域；
4、根据标注信息对所述自身遮挡映射信息与2d-3d点匹配域进行优化，将优化后的自身遮挡映射信息与2d-3d点匹配域输入到位姿预测器中，预测所述电力线夹的6d位姿的位姿估计。
5、进一步地，对所述图像进行特征提取，具体为：
6、在图像中裁剪出电力线夹对象图像，将所述电力线夹对象图像输入编码器进行特征提取，提取出若干个特征。
7、进一步地，所述第一解码器网络对所述特征进行第一解码处理得到自身遮挡映射信息，具体为：
8、根据对所述特征进行第一解码处理，得到电力线夹在三维平面中的遮挡信息；根据所述遮挡信息，生成与所述电力线夹外切的最小边界长方体作为自身遮挡映射信息。
9、进一步地，所述第二解码器网络对所述特征进行第二解码处理得到2d-3d点匹配域，具体为：
10、获取摄像机坐标系中的若干个可见点，从相机中心出发与若干个所述可见点连接，生成若干条射线；
11、记录每条所述射线与物体坐标平面的若干个交点坐标，生成2d-3d特征点的对应关系作为2d-3d点匹配域。
12、进一步地，记录每条所述射线与物体坐标平面的若干个交点坐标，生成2d-3d特征点的对应关系作为2d-3d点匹配域，具体为：
13、将目标对象定义为：{p，h}；将目标坐标平面转换为摄像机坐标系，生成所述交点的在物体坐标系与在摄像机坐标系的表示；根据所述交点在物体坐标系与在摄像机坐标系的表示，生成2d-3d特征点的对应关系；
14、其中，p∈v，v表示摄像机坐标系中的若干个可见点；p＝[xp，xp，zp]t表示所述可见点的三维坐标；h＝{hx，hy，hz}表示射线与物体坐标平面的交点的三维坐标；hx，hy和hz为射线与分别与物体坐标系的o-yz，o-xz和o-xy平面的交点。
15、进一步地，将目标坐标平面转换为摄像机坐标系，并生成所述交点的在物体坐标系与在摄像机坐标系的表示，具体为：
16、将目标坐标平面转换为摄像机坐标系的转换公式为：
17、(rn*)tx＝(rn*)tt；
18、其中，x表示目标坐标平面上的一个3d点，r为三维旋转参数和t为平移参数；n*表示为摄像机坐标系的三维坐标轴上的点；
19、n*的表达式为：
20、
21、将可见点投影到二维像平面上，得到所述可见点的二维投影点；所述可见点的二维投影点的表达式为：
22、
23、其中，k表示相机内参矩阵；
24、根据转换公式和二维投影点，计算射线与各物体坐标系的平面的交点在摄像机坐标系下的表示:
25、在摄像机坐标系下的交点的计算式为：
26、
27、
28、
29、根据所述转换公式，生成所述可见点和交点在物体坐标系中的表达式为：
30、p0＝rtp-rtt；
31、h0＝rth-rtt；
32、p为可见点在摄像机坐标系下的表示；p0为可见点在物体坐标系中的表示；h为交点在摄像机坐标系下的表示；h0为交点在物体坐标系中的表示。
33、进一步地，根据标注信息对所述自身遮挡映射信息与2d-3d点匹配域进行优化，具体为：
34、获取用户对电力线夹的自身遮挡映射信息与2d-3d点匹配域的标注信息，所述标注信息由用户在交互界面分别对所述自身遮挡映射信息与所述2d-3d点匹配域进行人工标注而来；
35、根据自身遮挡映射信息、2d-3d点匹配域与对应的标注信息之间的损失，分别对所述自身遮挡映射信息与2d-3d点匹配域进行优化。
36、进一步地，根据自身遮挡映射信息、2d-3d点匹配域与对应的标注信息之间的损失，分别对所述自身遮挡映射信息与2d-3d点匹配域进行优化，具体为：
37、对比2d-3d点匹配域与对应的标注信息，计算2d-3d点匹配域与对应的标注信息之间的损失，生成三维跨层一致损失项；
38、所述三维跨层一致损失项的表达式为：
39、
40、其中，‖*‖1表示l1函数损失，|h0|表示电力线夹对象的最小边界长方体内的交叉点数；ψ为电力线夹对象的最小边界长方体；
41、对比自身遮挡映射信息与对应的标注信息，计算自身遮挡映射信息与对应的标注信息之间的损失，生成二维跨层一致损失项；
42、所述二维跨层一致损失项的表达式为：
43、
44、
45、
46、其中，eph为可见点和交点投射在相同的2d点上的第一地面投影；ehp为交点投射在相同的二维投影点上的第二地面投影；
47、对三维旋转参数、平移参数、可见点和对应的交点进行优化调整，直到三维跨层一致损失项和二维跨层一致损失项均收敛，分别得到优化后的自身遮挡映射信息与2d-3d点匹本文档来自技高网...
【技术保护点】
1.一种电力线夹六自由度姿态估计方法，其特征在于，包括：
2.如权利要求1所述的一种电力线夹六自由度姿态估计方法，其特征在于，对所述图像进行特征提取，具体为：
3.如权利要求1所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述第一解码器网络对所述特征进行第一解码处理得到自身遮挡映射信息，具体为：
4.如权利要求1所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述第二解码器网络对所述特征进行第二解码处理得到2D-3D点匹配域，具体为：
5.如权利要求4所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述记录每条所述射线与物体坐标平面的若干个交点坐标，生成2D-3D特征点的对应关系作为2D-3D点匹配域，具体为：
6.如权利要求5所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述将目标坐标平面转换为摄像机坐标系，并生成所述交点的在物体坐标系与在摄像机坐标系的表示，具体为：
7.如权利要求1-6任意一项所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述根据标注信息对所述自身遮挡映射信息与
8.如权利要求7所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述根据自身遮挡映射信息、2D-3D点匹配域与对应的标注信息之间的损失，分别对所述自身遮挡映射信息与2D-3D点匹配域进行优化，具体为：
9.如权利要求8所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述将优化后的自身遮挡映射与2D-3D点匹配域输入到位姿预测器中，预测所述电力线夹的6D位姿的位姿估计，具体为：
10.如权利要求9所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述总体目标函数包括：姿态的基本项、跨层一致性项和自遮挡项；
11.一种电力线夹六自由度姿态估计装置，其特征在于，包括：图像处理模块、优化模块和位姿估计模块；
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至10中任意一项所述的一种电力线夹六自由度姿态估计方法。
...【技术特征摘要】
1.一种电力线夹六自由度姿态估计方法，其特征在于，包括：
2.如权利要求1所述的一种电力线夹六自由度姿态估计方法，其特征在于，对所述图像进行特征提取，具体为：
3.如权利要求1所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述第一解码器网络对所述特征进行第一解码处理得到自身遮挡映射信息，具体为：
4.如权利要求1所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述第二解码器网络对所述特征进行第二解码处理得到2d-3d点匹配域，具体为：
5.如权利要求4所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述记录每条所述射线与物体坐标平面的若干个交点坐标，生成2d-3d特征点的对应关系作为2d-3d点匹配域，具体为：
6.如权利要求5所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述将目标坐标平面转换为摄像机坐标系，并生成所述交点的在物体坐标系与在摄像机坐标系的表示，具体为：
7.如权利要求1-6任意一项所述的一种电力线夹六自由度姿态估计方法，其特征在于，所述根据标注...
【专利技术属性】
技术研发人员：陈禹明，张晓晔，郑培文，黎佩馨，林国营，蔡杨华，雷霆，徐琪，宋景慧，
申请(专利权)人：南方电网电力科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。