【技术实现步骤摘要】
本专利技术涉及智慧物流，特别涉及一种基于图像和点云的物流托盘位姿估计方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
2、近年来，随着机器人技术和互联网技术的发展，市场上出现的智能仓储物流机器人提高了仓储物流行业的智能化与自动化，叉车agv是最具代表性的智能仓储物流机器人之一。相较于人工叉车，叉车agv可以批量运营，在合理规划的条件下能实现可靠、高精度的不间断运行，同时无人环境也避免了安全事故，全天候不间断运行的叉车agv的部署可以显著减少企业生产成本，提高生产效率。在叉车agv领域，一个重要难题是如何对物流托盘实现精准的检测到托盘并得到托盘相对于叉车的位姿。
3、根据使用传感器的不同，现有的托盘检测及位姿估计方法主要可以分为基于视觉传感器的方法、基于激光雷达的方法和基于多传感器融合的方法。基于视觉传感器的方法主要是分析图像，基于托盘的特定特征，从图像中分割托盘进行检测，例如基于颜色特征和几何外表的方法来检测托盘，这种方法通过使用形态学、sobel边缘检测和霍夫变换来定义边缘和角点，且在离线状态下训练后实现在线托盘检测，但是使用颜色阈值来区分托盘和背景是不可靠的，因为实际场景中托盘以及背景的颜色是复杂的；激光雷达得到的点云数据具有稳定、抗干扰能力强的特点，使用激光雷达可以获取托盘点云，并基于托盘的几何特征，推断托盘的位置和姿态，但是激光雷达通常成本较高，并且检测范围有限，难以适用于堆叠托盘的检测；基于多传感器设备融合的检测方法将摄像机与激光雷达结合使用
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了一种基于图像和点云的物流托盘位姿估计方法及系统，能快速准确的找到相机视野中的托盘并计算出托盘的位姿，提升了叉车agv的智能化水平。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、第一方面，本专利技术提供了一种基于图像和点云的物流托盘位姿估计方法。
4、一种基于图像和点云的物流托盘位姿估计方法，包括以下过程：
5、对物流托盘幅值图像进行对数变换，得到对数图像，基于检测模型得到物流托盘目标检测结果；
6、根据目标检测结果提取目标点云，对目标点云进行法向量滤波，对法向量滤波后的目标点云进行统计滤波，基于点到所有邻近点的距离分布过滤离群点；
7、对过滤完离群点的目标点云进行平面分割得到托盘前脸平面，当托盘前脸平面的点云宽度大于第一设定阈值且点云点数大于第二设定阈值时，根据托盘前脸平面的点云进行托盘中心位置计算，得到物流托盘位姿估计结果。
8、作为本专利技术第一方面进一步的限定，对法向量滤波后的目标点云进行统计滤波，包括：
9、计算每个点到其邻域点的距离，得到各个点与其邻域的距离均值，遍历所有点，如果某个点与其邻域的距离均值大于高斯分布的指定置信度，将此点标记为离群点并移除。
10、作为本专利技术第一方面进一步的限定，对过滤完离群点的目标点云进行平面分割得到托盘前脸平面，包括：
11、在目标点云中随机选取三个点并构建一个平面；
12、计算目标点云中其他点到该平面的距离，若某点到平面的距离小于阈值，则将该点划分到该平面中，该平面点数加一，遍历所有点得到该平面中的点的个数；
13、重复上述过程设定次数，得到平面中的点数最多时的平面，当点数最多的平面的z分量的绝对值小于第三设定阈值且x分量的绝对值大于第四设定阈值，则以点数最多时的平面为托盘前脸平面。
14、作为本专利技术第一方面进一步的限定，根据托盘前脸平面的点云进行托盘中心位置计算，包括：
15、取平面点云中每个点的x坐标值存储到第一坐标容器中，取平面点云中每个点的y坐标值存储到第二坐标容器中，取平面点云中每个点的z坐标值存储到第三坐标容器中；
16、对第一坐标容器中的x坐标值按照大小进行排序，对第二坐标容器中的y坐标值按照大小进行排序，对第三坐标容器中的z坐标值按照大小进行排序；
17、对每一个坐标容器，删除容器中的前设定个数的值和后设定个数的值，再取前设定个数的值和后设定个数的值计算平均值，得到x、y、z方向上的坐标均值，作为托盘中心坐标。
18、作为本专利技术第一方面进一步的限定，检测模型为改进的yolov7网络模型，包括：
19、在特征提取网络中加入特征注意模块，特征注意模块中对传入的特征图执行平均池化操作，对平均池化操作的结果执行一维卷积计算，根据计算结果利用sigmoid激活函数获得每个通道的权值；
20、将权值与原始输入特征图的对应元素相乘，得到最终的输出特征图，通过特征注意模块对三种不同尺度的特征图进行特征提取，对不同尺度下的特征图提取结果进行加权求和得到融合后的特征图。
21、第二方面，本专利技术提供了一种基于图像和点云的物流托盘位姿估计系统。
22、一种基于图像和点云的物流托盘位姿估计系统，包括：
23、目标检测模块，被配置为：对物流托盘幅值图像进行对数变换，得到对数图像，基于检测模型得到物流托盘目标检测结果；
24、点云处理模块，被配置为：根据目标检测结果提取目标点云，对目标点云进行法向量滤波，对法向量滤波后的目标点云进行统计滤波，基于点到所有邻近点的距离分布过滤离群点；
25、位姿估计模块，被配置为：对过滤完离群点的目标点云进行平面分割得到托盘前脸平面，当托盘前脸平面的点云宽度大于第一设定阈值且点云点数大于第二设定阈值时，根据托盘前脸平面的点云进行托盘中心位置计算，得到物流托盘位姿估计结果。
26、作为本专利技术第二方面进一步的限定，对法向量滤波后的目标点云进行统计滤波，包括：
27、计算每个点到其邻域点的距离，得到各个点与其邻域的距离均值，遍历所有点，如果某个点与其邻域的距离均值大于高斯分布的指定置信度，将此点标记为离群点并移除。
28、作为本专利技术第二方面进一步的限定，对过滤完离群点的目标点云进行平面分割得到托盘前脸平面，包括：
29、在目标点云中随机选取三个点并构建一个平面；
30、计算目标点云中其他点到该平面的距离，若某点到平面的距离小于阈值，则将该点划分到该平面中，该平面点数加一，遍历所有点得到该平面中的点的个数；
31、重复上述过程设定次数，得到平面中的点数最多时的平面，当点数最多的平面的z分量的绝对值小于第三设定阈值且x分量的绝对值大于第四设定阈值，则以点数最多时的平面为托盘前脸平面。
32、作为本专利技术第二方面进一步的限定，根据托盘前脸平面的点云进行托盘中心位置计算，包括：
33、取平面点云中每个点的x坐标值存储到第一坐标容器中，取平面点云中每个点的y坐标值存储到第二坐标容器中，取平面点云中每个点的z坐标值存储到第三坐标容器中；
34、对第一坐标容器本文档来自技高网...
【技术保护点】
1.一种基于图像和点云的物流托盘位姿估计方法，其特征在于，包括以下过程：
2.如权利要求1所述的基于图像和点云的物流托盘位姿估计方法，其特征在于，
3.如权利要求1所述的基于图像和点云的物流托盘位姿估计方法，其特征在于，
4.如权利要求1所述的基于图像和点云的物流托盘位姿估计方法，其特征在于，
5.如权利要求1所述的基于图像和点云的物流托盘位姿估计方法，其特征在于，
6.一种基于图像和点云的物流托盘位姿估计系统，其特征在于，包括：
7.如权利要求6所述的基于图像和点云的物流托盘位姿估计系统，其特征在于，
8.如权利要求6所述的基于图像和点云的物流托盘位姿估计系统，其特征在于，
9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的基于图像和点云的物流托盘位姿估计方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述
...【技术特征摘要】
1.一种基于图像和点云的物流托盘位姿估计方法，其特征在于，包括以下过程：
2.如权利要求1所述的基于图像和点云的物流托盘位姿估计方法，其特征在于，
3.如权利要求1所述的基于图像和点云的物流托盘位姿估计方法，其特征在于，
4.如权利要求1所述的基于图像和点云的物流托盘位姿估计方法，其特征在于，
5.如权利要求1所述的基于图像和点云的物流托盘位姿估计方法，其特征在于，
6.一种基于图像和点云的物流托盘位姿估计系统，其特征在于，包括：
7.如权利要求...
【专利技术属性】
技术研发人员：颜承壮，李建强，李帅，史建杰，陈宇，
申请(专利权)人：山东亚历山大智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。