【技术实现步骤摘要】
本专利技术涉及三维图像分析，具体为基于rgb和点云信息融合的目标物定位方法和系统。
技术介绍
1、随着现代栽培技术的发展，工厂化生产已成趋势。我国双孢菇采用工厂化生产后，产量逐年增加，目前种植范围遍及全国，年产量和年出口量均居世界前列。目前双孢菇的采摘为人工操作，效率较低且影响菇房环境，不利于提高生产效率和产品质量。随着劳动力日益紧缺，设计先进的采摘、分拣机器人势在必行。
2、目前常基于二维图像定位识别双孢菇，确定可采摘双孢菇，但二维图像易受光照变化、复杂背景、双孢菇簇拥遮挡等影响，造成双孢菇最终定位识别精度偏低，影响分拣机器人采摘双孢菇的质量。
技术实现思路
1、本专利技术的目的是提供一种基于rgb和点云信息融合的目标物定位方法和系统。
2、本专利技术技术方案如下：
3、一种基于rgb和点云信息融合的目标物定位方法，包括如下操作：
4、s1、获取双孢菇菇床表面若干个区域的rgb图和深度图，得到若干张菇床区域rgb图和菇床区域深度图；基于若干张菇床区域深度图，分别得到各自的菇床区域深度点云集；对若干个菇床区域深度点云集进行配准处理后，将相邻区域的菇床区域配准深度点云集进行拼接，得到拼接菇床深度点云模型；
5、s2、若干张菇床区域rgb图经拼接处理，得到拼接菇床rgb图；去除拼接菇床rgb图中的背景，得到双孢菇图；对双孢菇图进行连通域分析，得到初始双孢菇识别区域；基于连通域面积和连通域长宽比，标记出初始双孢菇识别区域中的双孢
6、s3、去除拼接菇床深度点云模型中的背景，得到双孢菇深度点云模型；在双孢菇深度点云模型中标记出可采摘双孢菇识别区域对应点云，得到可采摘双孢菇点云定位数据。
7、s1中基于菇床区域深度图得到菇床区域深度点云集的操作具体为：基于相机矩阵，将菇床区域深度图中每个像素点的坐标值和对应深度值，转换为三维空间中的点坐标，得到初始深度点云集；初始深度点云集经降采样处理，得到降采样深度点云集；获取降采样深度点云集的法线，基于法线对降采样深度点云集进行最小二乘法处理和最近邻插值处理，得到菇床区域深度点云集。
8、s1中配准处理的操作具体为：从上一个配准菇床区域深度点云集中选取若干个点云，作为特征点云；在当前菇床区域深度点云集中获取分别与若干个特征点云距离最近的点云，与对应特征点云形成了点云配对；基于点云配对，得到当前旋转平移矩阵；基于当前旋转平移矩阵，对当前菇床区域深度点云集进行旋转平移变换，得到当前轮更新深度点云集；判断当前轮更新深度点云集与上一个配准菇床区域深度点云集的变换误差是否小于变化误差阈值；若不小于，当前轮更新深度点云集与上一个配准菇床区域深度点云集执行若干次点云配对获取、旋转平移矩阵获取和旋转平移变换的操作，直至更新深度点云集与上一个配准菇床区域深度点云集的变换误差小于变化误差阈值，得到当前配准菇床区域深度点云集，执行拼接的操作；若小于，当前轮更新深度点云集作为当前配准菇床区域深度点云集，执行拼接的操作。
9、变换误差是通过如下公式得到的：
10、，
11、为当前菇床区域深度点云集 s与上一个配准菇床区域深度点云集 s-1的变换误差， n为当前菇床区域深度点云集的点云总数，为上一个配准菇床区域深度点云集 s- 1中第 j个点云的位置，为在当前菇床区域深度点云集 s中第 j个点云的距离最近的点云 i的位置，为初始旋转平移矩阵。
12、s2中去除拼接菇床rgb图中的背景的操作具体为：将拼接菇床rgb图转换到 hsv空间后进行归一化处理，得到归一化菇床图；归一化菇床图经二值化处理，保留双孢菇对应像素点，得到双孢菇图。
13、s2中去除拼接菇床深度点云模型中的背景，得到双孢菇深度点云模型的操作具体为：若干张菇床区域深度图经拼接处理，得到拼接菇床深度图；将拼接菇床深度图中，深度值小于深度阈值的像素点，作为背景点；将拼接菇床深度点云模型中背景点对应点云删除，得到初筛菇床深度点云模型；初筛菇床深度点云模型经滤波处理，得到双孢菇深度点云模型。
14、一种基于rgb和点云信息融合的目标物定位系统，用于实现上述的基于rgb和点云信息融合的目标物定位方法，包括：
15、拼接菇床深度点云模型生成模块，用于获取双孢菇菇床表面若干个区域的rgb图和深度图，得到若干张菇床区域rgb图和菇床区域深度图；基于若干张菇床区域深度图，分别得到各自的菇床区域深度点云集；对若干个菇床区域深度点云集进行配准处理后，将相邻区域的菇床区域配准深度点云集进行拼接，得到拼接菇床深度点云模型；
16、可采摘双孢菇识别区域集生成模块，用于若干张菇床区域rgb图经拼接处理，得到拼接菇床rgb图；去除拼接菇床rgb图中的背景，得到双孢菇图；对双孢菇图进行连通域分析，得到初始双孢菇识别区域；基于连通域面积和连通域长宽比，标记出初始双孢菇识别区域中的双孢菇重叠区域；对双孢菇重叠区域进行霍夫变换处理，得到重叠处双孢菇分割识别区域；重叠处双孢菇分割识别区域，与初始双孢菇识别区域中的非双孢菇重叠区域，形成了双孢菇识别区域集；基于标准双孢菇面积，对双孢菇识别区域集进行筛选，得到可采摘双孢菇识别区域集；
17、可采摘双孢菇点云定位数据生成模块，用于去除拼接菇床深度点云模型中的背景，得到双孢菇深度点云模型；在双孢菇深度点云模型中标记出可采摘双孢菇识别区域对应点云，得到可采摘双孢菇点云定位数据。
18、一种基于rgb和点云信息融合的目标物定位设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的基于rgb和点云信息融合的目标物定位方法。
19、一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的基于rgb和点云信息融合的目标物定位方法。
20、本专利技术的有益效果在于：
21、本专利技术提供的一种基于rgb和点云信息融合的目标物定位方法，首先基于双孢菇菇床表面的若干张菇床区域深度图，得到若干个菇床区域深度点云集，经配准后进行拼接，得到便于准确和直观反映菇床的实际形状和深度变化的拼接菇床深度点云模型；然后，基于菇床的rgb图所反映的双孢菇像素信息，去除背景后再进行双孢菇的遮挡识别，得到符合采摘条件的可采摘双孢菇识别区域集；最后，基于深度信息去除拼接菇床深度点云模型中的背景，并标记本文档来自技高网...
【技术保护点】
1.一种基于RGB和点云信息融合的目标物定位方法，其特征在于，包括如下操作：
2.根据权利要求1所述的基于RGB和点云信息融合的目标物定位方法，其特征在于，S1中，基于菇床区域深度图，得到菇床区域深度点云集的操作具体为：
3.根据权利要求1所述的基于RGB和点云信息融合的目标物定位方法，其特征在于，S1中，配准处理的操作具体为：
4.根据权利要求3所述的基于RGB和点云信息融合的目标物定位方法，其特征在于，变换误差是通过如下公式得到的：
5.根据权利要求1所述的基于RGB和点云信息融合的目标物定位方法，其特征在于，S2中，去除拼接菇床RGB图中的背景的操作具体为：
6.根据权利要求1所述的基于RGB和点云信息融合的目标物定位方法，其特征在于，S2中，去除拼接菇床深度点云模型中的背景，得到双孢菇深度点云模型的操作具体为：
7.一种基于RGB和点云信息融合的目标物定位系统，用于实现权利要求1所述的基于RGB和点云信息融合的目标物定位方法，其特征在于，包括：
8.一种基于RGB和点云信息融合的目标物定位
9.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于RGB和点云信息融合的目标物定位方法。
...【技术特征摘要】
1.一种基于rgb和点云信息融合的目标物定位方法，其特征在于，包括如下操作：
2.根据权利要求1所述的基于rgb和点云信息融合的目标物定位方法，其特征在于，s1中，基于菇床区域深度图，得到菇床区域深度点云集的操作具体为：
3.根据权利要求1所述的基于rgb和点云信息融合的目标物定位方法，其特征在于，s1中，配准处理的操作具体为：
4.根据权利要求3所述的基于rgb和点云信息融合的目标物定位方法，其特征在于，变换误差是通过如下公式得到的：
5.根据权利要求1所述的基于rgb和点云信息融合的目标物定位方法，其特征在于，s2中，去除拼接菇床rgb图中的背景的操作具体为：
6.根据权利要求1所述的基于rgb和点...
【专利技术属性】
技术研发人员：杨学鹏，于大海，刘学栋，
申请(专利权)人：山东明佳科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。