基于深度图像语义分割的作物叶面积指数估计方法技术

本发明专利技术提出基于深度图像语义分割的作物叶面积指数估计方法。所述方法包括作物高质量图像数据采集系统和基于图像分割的叶面积指数测量框架设计两部分。目的是在没有农作物高质量图像的情况下，能够稳定高效的采集作物图像数据并开发基于图像语义分割方法的作物叶面积指数(LeafAreaIndex,LAI)测量模型。从而构建基于图像语义分割的作物叶面积指数测量算法。所述方法验证了基于深度学习的图像分割方法在作物叶面积指数测量方面的高精度和鲁棒性。棒性。棒性。

【技术实现步骤摘要】
基于深度图像语义分割的作物叶面积指数估计方法


[0001]本专利技术涉及作物叶面积指数估计
，特别是针对阔叶不重叠作物的叶面积指数的估计方法，具体为一种基于深度图像语义分割的作物叶面积指数估计方法。

技术介绍

[0002]在过去的几十年里，遥感和无损估计叶面积指数(LAI)一直是一个挑战，现有的直接和间接方法都很费力和费时，而且难以扩展和应用于大规模的现代无人农场。目前基于图像处理的LAI测量是基于传统的图像分割模型或者算法，其精度较低误差较大。缺乏基于深度学习端到端的高精度模型方法，本专利技术提出一种基于端到端的深度学习的语义分割框架来实现高精度作物图像叶面积指数测量，用于大规模、快速估计作物的LAI。这种方法的端到端、简单和高效的特点使它能够迅速扩展并应用于大规模的现代无人农场，有助于提高农业智能化和自动化水平。

技术实现思路

[0003]本专利技术目的是为了解决现有技术中的问题，提出了一种基于深度图像语义分割的作物叶面积指数估计方法。所述方法包括作物高质量图像数据采集系统和基于图像分割的叶面积指数测量框架设计两部分。目的是在没有农作物高质量图像的情况下，能够稳定高效的采集作物图像数据并开发基于图像语义分割方法的作物叶面积指数(LeafArea Index,LAI)测量模型。从而构建基于图像语义分割的作物叶面积指数测量算法，本专利技术使用黄瓜作物实现作物图像采集、框架验证、模型训练等工作。
[0004]本专利技术是通过以下技术方案实现的，本专利技术提出基于深度图像语义分割的作物叶面积指数估计方法，所述方法包括：
[0005]首先根据作物高质量图像数据采集系统采集高质量的作物图像数据，对其进行采样后进行人工标注作物像素的语义区域并制作成为图像语义分割数据集，根据制作的数据集设计端到端的作物叶面积指数测量深度学习模型框架即LAI测量框架，所述LAI测量框架，其有四部分组成，即骨干网络Backbone，分割图Segmentation Map，掩码预测Mask Prediction和叶面积指数预测LAI Prediction；骨干网络部分用于完成作物图像的分割，生成特征图，利用生成的特征图进行掩码的预测，生成分割结果，同时根据预测掩码计算出作物LAI的预测结果；其中，在训练阶段将生成的分割结果和真实值进行比较即Loss Seg，将预测的LAI与图像中的LAI进行比较即Loss LAI；在推理阶段，直接生成掩码预测结果和叶面积测量结果，实现作物LAI测量和分割。
[0006]进一步地，所述作物高质量图像数据采集系统由5部分组成：作物生长环境，照明，图像采集，数据传输和数据存储服务器；所述作物生长环境为作物提供生长所需的土壤，水分和养分物质；照明部分为作物提供进行光合作用所需的光照，同时为高清的作物图像采集提供光照条件；图像采集部分用来实时采集作物生长过程的视频数据流；数据传输部分通过网络视频录像机NVR的方式将摄像头采集的数据流存储于磁盘中；数据存储服务器用
来实时从NVR中读取相机的视频流，同时利用相关代码和脚本实现自动化的图像数据等间隔采样和存储。
[0007]进一步地，所述叶面积指数定义为：单位土地上所有叶片的面积，其公式为：
[0008][0009]进一步地，根据相机成像原理得到通过图像计算叶面积的公式：
[0010][0011]其中表示作物真实的面积，表示标定物的真实面积，且表示标定物的真实面积，且表示标定物在图像中的面积，表示作物在图像中的面积。
[0012]进一步地，模型训练使用的损失函数如公式所示：
[0013][0014]其中为MAE损失函数，为交叉熵损失函数。
[0015]进一步地，图像采集部分由2个高清的摄像头组成，在数据采集的过程中，相机每隔5分钟自动采集一次图像，并将采集的图像存储在磁盘中。
[0016]进一步地，所述估计方法还包括评测部分，所述评测部分采用的评估指标包括图像语义分割精度评估指标和回归评估指标。
[0017]进一步地，所述图像语义分割精度评估指标为平均交并比mIoU，所述平均交并比指的是预测值和真实值的交集和并集之比；所述回归评估指标包括平均绝对误差(MAE)、均方误差(MSE)、均方根误差(RMSE)和R2回归得分函数回归模型评估指标。
[0018]本专利技术提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述基于深度图像语义分割的作物叶面积指数估计方法的步骤。
[0019]本专利技术提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述基于深度图像语义分割的作物叶面积指数估计方法的步骤。
[0020]本专利技术的有益效果：
[0021]本专利技术设计了一种基于深度图像语义分割的作物叶面积指数估计方法，所述方法包含了作物高质量图像采集系统和基于图像分割方法的作物叶面积指数测量的端到端框架；选取mIoU和MAE MSE RMSE,R2等指标以全面反映图像分割效果和作物叶面积测量的精度。
[0022]实验测试结果表明，基于深度学习的图像分割方法具有良好的精度和鲁棒性，展示了基于深度学习的图像分割模型在图像分割方面的优势和有效性，验证了基于深度学习的图像分割方法在作物叶面积指数测量方面的高精度和鲁棒性。同时本专利技术设计的作物高质量图像采集系统也为模型开发人员提供了高度自动化的数据采集方案，能够提供高质量的图像数据，提高了高质量作物图像数据采集和模型开发的效率，推动相关AI模型在农业中的研究和应用。
附图说明
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0024]图1为作物高质量图像数据采集系统框图；
[0025]图2为作物图像数据标注方法示意图；
[0026]图3为基于坐标纸的作物叶面积测量方法示意图；
[0027]图4为基于深度图像语义分割的叶面积指数测量框架设计示意图；
[0028]图5为基于深度图像语义分割的叶面积估计实验结果示意图；
[0029]图6为基于深度图像语义分割模型的分割效果可视化结果示意图，其中(a)为涂鸦下作物叶片图像语义分割实验结果(叶面积估计)，(b)为作物叶片原始图像语义分割实验结果；
[0030]图7为搭载基于深度图像语义分割的大规模农田作物叶面积指数测量示意图；
[0031]图中各标号为:701
‑
相机；702
‑
嵌入式叶面积指数计算平台；703
‑
无人机旋翼。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度图像语义分割的作物叶面积指数估计方法，其特征在于：所述方法包括：首先根据作物高质量图像数据采集系统采集高质量的作物图像数据，对其进行采样后进行人工标注作物像素的语义区域并制作成为图像语义分割数据集，根据制作的数据集设计端到端的作物叶面积指数测量深度学习模型框架即LAI测量框架，所述LAI测量框架，其有四部分组成，即骨干网络Backbone，分割图SegmentationMap，掩码预测Mask Prediction和叶面积指数预测LAIPrediction；骨干网络部分用于完成作物图像的分割，生成特征图，利用生成的特征图进行掩码的预测，生成分割结果，同时根据预测掩码计算出作物LAI的预测结果；其中，在训练阶段将生成的分割结果和真实值进行比较即LossSeg，将预测的LAI与图像中的LAI进行比较即LossLAI；在推理阶段，直接生成掩码预测结果和叶面积测量结果，实现作物LAI测量和分割。2.根据权利要求1所述的方法，其特征在于：所述作物高质量图像数据采集系统由5部分组成：作物生长环境，照明，图像采集，数据传输和数据存储服务器；所述作物生长环境为作物提供生长所需的土壤，水分和养分物质；照明部分为作物提供进行光合作用所需的光照，同时为高清的作物图像采集提供光照条件；图像采集部分用来实时采集作物生长过程的视频数据流；数据传输部分通过网络视频录像机NVR的方式将摄像头采集的数据流存储于磁盘中；数据存储服务器用来实时从NVR中读取相机的视频流，同时利用相关代码和脚本实现自动化的图像数据等间隔采样和存储。...

【专利技术属性】
技术研发人员：刘擘龙，刘劼，王强，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：