【技术实现步骤摘要】
本专利技术涉及图像识别，具体是一种在边缘端基于深度学习和点云的室内机器人垃圾识别方法。
技术介绍
1、随着科技的快速发展，人力成本增加。智能清洁机器人市场近年逐渐兴起，成为清洁行业新兴产品。
2、深度学习是一种人工智能(ai)领域的机器学习技术，通过学习垃圾样本数据的内在规律和表示层次，最终让机器能够像人一样主动识别垃圾的颜色、纹理、轮廓等信息。
3、传统基于深度学习的视觉垃圾检测能够很好的识别垃圾的类型，然而在机器人运动速度过快，光照条件较暗的情况下，通过rgb相机获取的图像容易模糊，失去原有的纹理特征。结合深度相机能够很好的得到物体的轮廓特征，能够很大程度上改善模型的误检问题。
技术实现思路
1、专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种在边缘端基于深度学习和点云的室内机器人垃圾识别方法，结合机器搭载的rgb相机和深度相机获取rgb图像和点云图像，通过深度学习目标检测模型从rgb图像中获取垃圾的位置和类别信息，通过点云图像对垃圾类别二次过滤，进一步降低识别产生的误差。
2、技术方案：为实现上述目的，本专利技术包括以下步骤：
3、1)搭建融合rgb相机和深度相机的垃圾识别模型，该模型中对数据源进行同步操作，即rgb图像和深度点云为相同时刻发出；
4、2)利用rgb相机获取rgb图像，识别当前状态下的垃圾类别，同时深度相机根据rgb相机和深度相机标定参数，获取目标在对应rgb区域的点云，并且通过尺寸辅助
5、3)将rgb中的检测框通过标定矩阵映射到点云图像当中。得到检测物体目标框内区域的点云数据。
6、如果检测类别是可主动执行扫地策略的垃圾类别，本专利技术将获取区域内的点云数据，如果该数据长宽过大，并且高度大于2cm将认定检测模型检测类别错误，将其改变为障碍物垃圾。
7、如果检测类别是可主动执行拖地策略的垃圾类别，本专利技术将获取区域内的点云数据，如果该数据区域过小将进行不处理策略，并且如果高度大于2cm将认定其改变为障碍物垃圾。
8、如果检测类别是不可清洁的障碍物垃圾的垃圾类别，本专利技术将获取区域内的点云数据，如果高度均低于2cm，将认定检测模型输出结果错误，将认定该垃圾为不执行处理的类别。
9、步骤2)所述识别垃圾类别的过程，具体为将rgb图像输入到yolov7-tiny目标检测模型当中进行识别，垃圾种类如烟头、花生壳、瓜子壳、果皮、纸片、白色塑料袋、饮料盒、饮料瓶、餐巾纸、咖啡渍、果汁渍等常见室内垃圾。由于机器人设备清洁硬件设备参数以及结构设计上述整体分为三种清洁类型的垃圾。
10、1，可主动执行扫地策略的垃圾：烟头，花生壳，瓜子壳，纸片，餐巾纸。
11、2，可主动执行拖地策略的垃圾：咖啡渍，果汁渍。
12、3，不可清洁的障碍物垃圾：果皮，白色塑料袋、饮料盒、饮料瓶。
13、其中可主动执行扫地策略的垃圾主要具有高度底，尺寸小的特点。可主动执行拖地策略的垃圾主要为液体，主要具有面积大，不具备高度等特点。不可清洁的障碍物垃圾主要为固体，具备体积大的特点，体积大的垃圾标准为长宽超过识别范围且高度大于2cm。
14、有益效果：本专利技术，有益效果如下：
15、1)合机器搭载的rgb相机和深度相机获取rgb图像和点云图像，通过深度学习目标检测模型从rgb图像中获取垃圾的位置和类别信息，通过点云图像对垃圾类别二次过滤，进一步降低识别产生的误差。
16、2)使用了yolov7-tiny目标检测网络来确定垃圾的类别，定位垃圾的位置。该网络具有精度高，参数少，算子可支持性良好等优点。
本文档来自技高网...【技术保护点】
1.一种在边缘端基于深度学习和点云的室内机器人垃圾识别方法，其特征在于包括以下步骤：
2.根据权利要求1所述的在边缘端基于深度学习和点云的室内机器人垃圾识别方法，其特征在于：步骤2)所述识别垃圾类别的过程，具体为将RGB图像输入到Yolov7-tiny目标检测模型当中进行识别，将高度低尺寸小的垃圾识别为可主动执行扫地策略的垃圾，将面积大不具备高度的垃圾识别为可主动执行拖地策略的液体垃圾，将体积大的垃圾识别为不可清洁的障碍物固体垃圾。
3.根据权利要求2所述的在边缘端基于深度学习和点云的室内机器人垃圾识别方法，其特征在于：所述体积大的垃圾标准为长宽超过识别范围且高度大于2cm。
4.根据权利要求2所述的在边缘端基于深度学习和点云的室内机器人垃圾识别方法，其特征在于：步骤3)中，仅当垃圾检测类别是可主动执行扫地策略的垃圾或可主动执行拖地策略的垃圾类别时，执行获取测物体目标框内区域的点云数据的程序。
【技术特征摘要】
1.一种在边缘端基于深度学习和点云的室内机器人垃圾识别方法，其特征在于包括以下步骤：
2.根据权利要求1所述的在边缘端基于深度学习和点云的室内机器人垃圾识别方法，其特征在于：步骤2)所述识别垃圾类别的过程，具体为将rgb图像输入到yolov7-tiny目标检测模型当中进行识别，将高度低尺寸小的垃圾识别为可主动执行扫地策略的垃圾，将面积大不具备高度的垃圾识别为可主动执行拖地策略的液体垃圾，将体积大的垃圾识别...
【专利技术属性】
技术研发人员：游亚东，张潜，舒恒，刘文博，
申请(专利权)人：深圳亿嘉和科技研发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。