【技术实现步骤摘要】
本专利技术涉及计算机视觉处理，具体是涉及一种基于rgbd相机的6d位姿估计方法及系统。
技术介绍
1、在计算机视觉和机器人技术的快速发展中，目标物体的6d位姿估计成为实现物体交互任务的重要前提。6d位姿包括目标物体的平移位置[x，y，z]和旋转角度[rx，ry，rz]，描述了目标相对于相机坐标系在三维空间中的具体位置和姿态。传统的6d位姿估计方法主要依赖于高精度的目标3d模型或特定的目标识别算法，难以实现泛用性和实时性，尤其在复杂场景中使用rgbd相机快速、精确地估计物体的6d位姿仍然面临挑战。
2、近年来，基于深度学习的6d位姿估计方法取得了显著的突破，研究主要分为实例级和类别级两大类。实例级方法依赖于目标的高精度3d模型，通常一个网络仅适用于特定的对象。尽管实例级方法在精度上表现较好，但由于其泛用性不足且前期处理复杂，难以满足实际应用中的实时性需求。而类别级方法则尝试通过单一网络模型来预测同类物体的6d位姿，具备较好的泛化能力，但仍面临类内形状差异带来的估计精度下降等问题，针对上述的问题，现提出一种基于rgbd相机的6d位姿估计方法及系统来进行解决。
技术实现思路
1、为解决上述技术问题，提供一种基于rgbd相机的6d位姿估计方法及系统，解决了上述的目前的实例级方法依赖于目标的高精度3d模型，通常一个网络仅适用于特定的对象。尽管实例级方法在精度上表现较好，但由于其泛用性不足且前期处理复杂，难以满足实际应用中的实时性需求。而类别级方法则尝试通过单一网络模型来预测同类物
2、为达到以上目的，本专利技术采用的技术方案为：一种基于rgbd相机的6d位姿估计方法及系统，包括，
3、步骤一：相机成像校准；
4、步骤二：基于校准后的相机成像对相机参数标定；
5、步骤三：三维模型重建与数据集构建；
6、步骤四：基于三维模型与数据集对目标物体分割与实际尺寸计算；
7、步骤五：基于三维模型与数据集建立6d位姿估计网络模型；
8、步骤六：基于实际尺寸进行位姿估计。
9、优选的，所述相机成像校准包括，光线穿过透镜投影到成像平面时会产生畸变现象，分为径向畸变和切向畸变，其中径向畸变分为桶形畸变和枕形畸变，而切向畸变是由于在相机的安装过程中，透镜和成像平面不平行导致的，属于安装误差；
10、径向畸变其归一化坐标计算公式具体为：
11、xdistorted＝x(1+k1r2)；
12、ydistorted＝y(1+k1r2)#(1)
13、式中，(xdistorted，ydistorted)是经过矫正的标准坐标，点(x，y)是产生畸变的原始坐标，k1为畸变系数；
14、切向畸变其归一化坐标计算公式具体为：
15、xdistorted＝x+2p1xy+p2(r2+2x2)；
16、ydistorted＝y+2p2xy+p1(r2+2y2)#(2)
17、式中，(xdistorted，ydistorted)是经过矫正的标准坐标，点(x，y)是产生畸变的原始坐标，p1、p2为额外的畸变参数；
18、对于图像上任意一点p，可联立上述k1、p1、p2三个畸变参数找到点(x，y)在像素坐标系中的准确坐标，该p点归一化坐标具体计算公式为：
19、xdistorted＝x(1+k1r2)+2p1xy+p2(r2+2x2)；
20、ydistorted＝y(1+k1r2)+2p2xy+p1(r2+2y2)#(3)
21、优选的，所述基于校准后的相机成像对相机参数标定包括，首先将13张aruco标定板呈圆周状布置在待检测物体周围，无重复标记且均匀分布，通过ros系统，在不同位置和角度拍摄n张关于aruco标定板的rgb图像和红外图像，并对数据进行校准。通过校准得到rgb相机、深度相机和红外相机的内参矩阵和外参矩阵；
22、内参矩阵k描述了相机的光学特性，反映了从三维物体到二维图像投影时的相机参数，公式如下：
23、
24、其中，fx和fy为rgb相机在水平方向和竖直方向的焦距(单位：像素)，反映了相机成像时的放大倍数；cx和cy为主点的像素坐标，即图像中心在像素坐标系中的位置；
25、外参矩阵[r，t]描述了相机间的相对位置和旋转：
26、
27、其中，[xr，yr，zr]t为rgb相机坐标系下的三维点坐标；[xd，yd，zd]t为深度相机坐标系下的三维点坐标；r为旋转矩阵，描述了两个相机之间的相对旋转；[tx，ty，tz]t为平移向量，描述了rgb相机和深度相机之间的相对平移。
28、优选的，所述三维重建与数据集构建具体包括，对目标物体进行全方位的视频采集，确保拍摄过程中物体从多个角度和不同距离完整呈现，以避免遮挡，并使用opencv将视频文件分解为固定尺寸的单帧rgb图像；接着提取rgb图像并使用colmap工具创建数据集，然后进行sift特征提取和匹配，接着运行sfm方法生成稀疏点云模型，在sfm过程中，colmap会自动估计每帧图像的相机位姿，具体通过三角测量和多视角几何分析，利用图像特征匹配计算出相机的外参(旋转矩阵和平移向量)，从而确定相机在三维空间中的位置和方向。通过patchmatch算法生成深度图，再进行深度融合生成最终的密集点云模型；对生成的点云模型进行裁剪和标注，构建物体相对于相机的坐标系，从而生成包含6d位姿标注的数据集。
29、优选的，所述基于三维模型与数据集对目标物体分割与实际尺寸计算包括，ros通过消息过滤器来同步接收到的rgb图像、深度图像和点云数据；使用matplotlib和rectangleselector工具，让用户通过鼠标交互选择rgb图像中的目标物体所在区域并框选一个矩形区域，系统将记录该矩形区域的坐标作为分割的输入；使用预训练的sam模型进行物体分割，根据用户选择的矩形框输入，使用sam模型对该区域进行物体分割，得到分割掩码；使用相机的内参矩阵将点云投影到rgb图像坐标系中，计算每个点在图像中的位置，通过相机的内参公式，计算图像坐标系下的投影坐标：
30、
31、
32、其中，fx和fy分别是相机焦距，cx和cy是主点坐标(主点坐标表示图像坐标系中光轴(也就是透镜中心点的光线)在成像平面上的投影位置；在内参矩阵中，主点坐标用于校正镜头偏移，确保图像上的坐标准确反映相机的成像情况)，x，y，z是3d点云的坐标；
33、通过投影后的坐标与分割掩码进行交叉匹配，筛选出属于分割区域的点云数据，计算并保存它们之间的最大欧氏距离：
34、
35、其中，xi，yi，zi和xj，yj，zj是点云中任意两个点的坐标。
36、优选的，所本文档来自技高网...
【技术保护点】
1.一种基于RGBD相机的6D位姿估计方法，其特征在于：包括，
2.根据权利要求1所述的一种基于RGBD相机的6D位姿估计方法及系统，其特征在于：所述步骤1相机成像校准包括，光线穿过透镜投影到成像平面时会产生畸变现象，分为径向畸变和切向畸变，其中径向畸变分为桶形畸变和枕形畸变，而切向畸变是由于在相机的安装过程中，透镜和成像平面不平行导致的，属于安装误差；
3.根据权利要求1所述的一种基于RGBD相机的6D位姿估计方法，其特征在于：所述步骤2基于校准后的相机成像对相机参数标定包括，首先将m张ArUco标定板呈圆周状布置在待检测物体周围，无重复标记且均匀分布，通过机器人操作系统ROS，在不同位置和角度拍摄n张关于ArUco标定板的RGB图像和红外图像，并对数据进行校准；通过校准得到RGB相机、深度相机和红外相机的内参矩阵和外参矩阵；
4.根据权利要求1所述的一种基于RGBD相机的6D位姿估计方法，其特征在于：所述步骤3在SFM算法过程中，COLMAP自动估计每帧图像的相机位姿，即通过三角测量和多视角几何分析，利用图像特征匹配计算出相机的外参，从而确
5.根据权利要求1所述的一种基于RGBD相机的6D位姿估计方法，其特征在于：所述步骤4基于三维模型与数据集对目标物体分割与实际尺寸计算包括，机器人操作系统ROS通过消息过滤器来同步接收到的RGB图像、深度图像和点云数据；使用Matplotlib和RectangleSelector工具，让用户通过鼠标交互选择RGB图像中的目标物体所在区域并框选一个矩形区域，记录矩形区域的坐标作为分割的输入；使用预训练的SAM模型进行物体分割，根据用户选择的矩形框输入，使用SAM模型对该区域进行物体分割，得到分割掩码；使用相机的内参矩阵将点云投影到RGB图像坐标系中，计算每个点在图像中的位置，通过相机的内参公式，计算图像坐标系下的投影坐标：
6.根据权利要求1所述的一种基于RGBD相机的6D位姿估计方法，其特征在于：步骤5中，所述空洞卷积的感受野具体计算公式为：
7.根据权利要求1所述的一种基于RGBD相机的6D位姿估计方法，其特征在于：步骤5中，所述位置注意力机制具体包括，
8.根据权利要求6所述的一种基于RGBD相机的6D位姿估计方法，其特征在于：结合深度图像与初步估计的姿态，利用深度图像中每个像素的深度值更新物体的实际位置，并计算物体与相机之间的距离，对初步估计的姿态进行多次迭代优化，通过调整姿态以最小化误差，从而获得最终的6D位姿，包括物体的平移向量和旋转矩阵。
9.根据权利要求1所述的一种基于RGBD相机的6D位姿估计方法，其特征在于：所述步骤6基于实际尺寸进行位姿估计具体为，加载步骤4中通过点云计算得到的物体实际尺寸对6D位姿进行估计，估计结果包括物体的平移位置(x,y,z)和旋转角度(Rx,Ry,Rz)，结合深度信息和尺寸信息进一步优化位姿估计的准确性，以此调整数据集中参考物体的位姿和尺寸，6D位姿估计网络模型加载调整后的数据集进行位姿估计和姿态细化。
10.一种基于RGBD相机的6D位姿系统，用于实现如权利要求1-9任一项所述的6D位姿估计方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于rgbd相机的6d位姿估计方法，其特征在于：包括，
2.根据权利要求1所述的一种基于rgbd相机的6d位姿估计方法及系统，其特征在于：所述步骤1相机成像校准包括，光线穿过透镜投影到成像平面时会产生畸变现象，分为径向畸变和切向畸变，其中径向畸变分为桶形畸变和枕形畸变，而切向畸变是由于在相机的安装过程中，透镜和成像平面不平行导致的，属于安装误差；
3.根据权利要求1所述的一种基于rgbd相机的6d位姿估计方法，其特征在于：所述步骤2基于校准后的相机成像对相机参数标定包括，首先将m张aruco标定板呈圆周状布置在待检测物体周围，无重复标记且均匀分布，通过机器人操作系统ros，在不同位置和角度拍摄n张关于aruco标定板的rgb图像和红外图像，并对数据进行校准；通过校准得到rgb相机、深度相机和红外相机的内参矩阵和外参矩阵；
4.根据权利要求1所述的一种基于rgbd相机的6d位姿估计方法，其特征在于：所述步骤3在sfm算法过程中，colmap自动估计每帧图像的相机位姿，即通过三角测量和多视角几何分析，利用图像特征匹配计算出相机的外参，从而确定相机在三维空间中的位置和方向。
5.根据权利要求1所述的一种基于rgbd相机的6d位姿估计方法，其特征在于：所述步骤4基于三维模型与数据集对目标物体分割与实际尺寸计算包括，机器人操作系统ros通过消息过滤器来同步接收到的rgb图像、深度图像和点云数据；使用matplotlib和rectangleselector工具，让用户通过鼠标交互选择rgb图像中的目标物体所在区域并框选一个矩形区...
【专利技术属性】
技术研发人员：邢科新，华奇轩，吴延超，吴正中，赵龙江，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。