【技术实现步骤摘要】
本专利技术涉及计算机视觉技术和农业种植环境地图构建领域，具体涉及一种番茄生长环境认知评估方法。
技术介绍
1、番茄是当今最受喜爱的温室农产品之一，具有促进消化、延缓衰老等功效，其全球产量在过去四十年中增长了两倍。为实现高效生产和规范管理，露天种植逐渐被温室生产取代，温室番茄种植产业在我国果蔬市场中占有重要份额。然而，随着近年劳动力成本上升，人工投入占比达30％以上的温室种植行业，迫切渴求农业种植任务机械化和自动化的进一步发展。温室番茄自动化精准采摘是推动温室番茄种植产业发展的重要技术，采摘工作在难以获得全貌的非结构环境中稳定性不高，对环境理解程度低，无法充分利用植株信息进行精准采集。因此，正确全面地认知环境是实现温室番茄自动化精准采集的关键步骤之一。
2、在经典温室采摘环境中，人工打理使植株茎叶等遮挡待采摘果实的情况大大减少。多数采摘任务无需专门考虑避障等问题，更侧重于获取番茄果实的成熟度、遮挡程度和空间位置等信息。但要将采摘成功率提高到一定水准，能够处理多样的采摘情况是必要前提。因此，如何采摘遮挡程度高的番茄是必须解决的问题。
技术实现思路
1、为了满足目前农业机器人对温室番茄种植任务的信息需求，本专利技术提供了一种面向温室番茄种植场景的，基于语义分割和八叉树地图的，番茄生长环境认知评估方法，能够在温室采摘作业时实时构建三维语义地图，指导采摘机器人路径规划。能够实时维护性能良好，有效应对温室中光线变化、背景噪声和植株轻幅晃动等，实现番茄采摘作业场景三维语义信息的全面实
2、为了实现上述目的，本专利技术提供了如下技术方案：
3、一种番茄生长环境认知评估方法，包括以下步骤：
4、步骤1、制定基于深度学习语义分割神经网络的三维语义点云数据生成策略，所述三维语义点云数据生成策略包括：针对番茄生长环境的语义分割模型和深度图像点云化处理；
5、步骤1.1、采集多幅温室番茄生长环境图像，以番茄果实、番茄主茎、番茄花梗和其他物体为语义类别对所述温室番茄生长环境图像进行标注，得到含有标注框的所述温室番茄生长环境图像，所述标注框即对应的所述语义类别的像素区域；将所述含有标注框的所述温室番茄生长环境图像按照预设格式，生成番茄生长环境语义分割数据集；
6、步骤1.2、建立语义分割神经网络模型，基于所述番茄生长环境语义分割数据集，对所述语义分割神经网络模型进行训练，得到应用于温室番茄生长环境语义分割神经网络模型；
7、步骤1.3、将记录温室番茄生长环境的待检测二维rgb图像输入所述应用于温室番茄生长环境语义分割神经网络模型中进行处理，得到所述待检测二维rgb图像中所有像素点的语义类别信息s：
8、s＝{sx，y|sx，y＝ki，x∈[0，w-1]，y∈[0,h-1],i＝1,2,...}
9、其中，sx，y为所述待检测二维rgb图像中像素坐标为(x，y)的像素点的语义类别信息，ki为所述温室番茄生长环境的第i个语义类别，w为所述待检测二维rgb图像的像素宽度，h为所述待检测图像的像素高度；
10、步骤1.4、对所述待检测二维rgb图像对应的深度图像，进行所述深度图像点云化处理，得到所述待检测二维rgb图像对应的所述温室番茄生长环境的三维点云数据p：
11、
12、其中,pj为所述待检测二维rgb图像中第j个像素点的三维位置信息，d(x，y)为所述像素点在深度图像中的深度信息，(cx，cy)为拍摄所述待检测二维rgb图像的相机的主点，f为拍摄所述待检测二维rgb图像的深度相机的焦距；
13、步骤2、根据所述语义类别信息s，对所述三维点云数据p进行可视化处理；
14、步骤2.1、根据所述语义类别信息s，使用一组视觉对比效果显著的配色方案，将所述三维点云数据p调整为与所述配色方案反映的语义类别信息对应的三维点云数据p′；
15、步骤2.2、基于统计学方法，对所述三维点云数据p′进行离群滤波处理，得到降低噪声的三维点云数据p″；
16、步骤3、将所述三维语义点云数据p″输入到地图构建节点，所述地图建立节点根据所述三维语义点云数据p″和当前时刻其坐标系在世界坐标系下的空间姿态，对基于八叉树的栅格地图子节点进行更新与维护，生成三维占有率地图；
17、步骤4、根据所述语义类别信息s，定义并计算当前观测已知程度ρ：
18、
19、其中，为所述待检测二维rgb图像第j个像素点信息的权重，对不具备语义信息的像素点取0，对具备语义信息的像素点取具备语义信息的像素总数量的倒数，d(x，y)为所述待检测二维rgb图像第j个像素点在深度图像中的深度信息，dmax为所述具备语义信息的像素中深度信息的最大值。
20、与现有技术相比，本专利技术的有益效果在于：
21、1.本专利技术提出的番茄生长环境认知评估方法，对记录温室番茄生长环境的二维rgb-d图像进行处理，得到以rgb颜色反映语义类别的三维点云数据。使用深度学习对大量番茄生长环境语义分割数据集训练得到语义分割模型，训练中仅使用二维rgb图片作为输入，以语义分割结果和深度图像生成三维点云信息，降低程序计算量，具有准确率高、实时性好、后处理便捷的特点。面对温室中光线变化、背景噪声和植株轻幅晃动的实地环境具有良好的抗干扰能力，做到实时维护温室番茄生长环境全景语义地图，能够在rgb-d图像受干扰较大的情况下发挥作用。
22、2.本专利技术基于八叉树地图和深度相机成像原理，解决作业环境已知程度评估问题。本专利技术的八叉树地图累计多帧图像处理结果，用于指导采摘机器人在未完全观测的温室环境中进行任务路径规划，利用深度相机成像原理定义并计算单帧图像已获得信息所占比重，为解决农业作业环境已知程度评估问题做出了尝试。
23、3.本专利技术为实现自动化采摘作业提供了更全面的环境信息，有利于指导采摘机器人进行更合理的路径规划，为实现精准采摘提供了可能。
本文档来自技高网...【技术保护点】
1.一种番茄生长环境认知评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的番茄生长环境认知评估方法，其特征在于，所述步骤2包括：
3.根据权利要求1所述的番茄生长环境认知评估方法，其特征在于，所述步骤3还包括：将多帧所述三维语义点云数据P″融合，构建并维护番茄生长环境的三维语义地图。
4.根据权利要求1所述的番茄生长环境认知评估方法，其特征在于，步骤4包括：基于双目测距原理，对当前番茄生长环境进行已知程度估算。
【技术特征摘要】
1.一种番茄生长环境认知评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的番茄生长环境认知评估方法，其特征在于，所述步骤2包括：
3.根据权利要求1所述的番茄生长环境认知评估方法，其特征在于，所述...
【专利技术属性】
技术研发人员：张俊雄，张宇，郑夏俊，呙佳扬，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。