基于图像识别的木本植物物候期的自动观测方法和系统技术方案

本发明专利技术涉及物候学技术领域，特指一种基于图像识别的木本植物物候期的自动观测方法和系统，通过建立基于计算机深度学习技术的植物物候期图像识别模型，在模型训练样本足够的前提下植物相应物候期的识别率正确率达85％以上；而后将物候期识别模型输出的识别结果，配合图像剪裁拆分模块、图像分类模块、周期分析模块进行结果判定和输出，可进一步提升植物图像物候期特征的判别效果，实现植物生长的实时、快速和精准观测，提升物候观测数据的规范和质量。通过搭建的植物物候期观测平台对植物物候期识别结果进行展示，用户可以通过该平台实时查询识别结果，实时了解植物周期及生长情况；同时，简洁规范的平台，有利于大范围推广使用。用。用。

【技术实现步骤摘要】
基于图像识别的木本植物物候期的自动观测方法和系统


[0001]本专利技术涉及物候学
，特指一种基于图像识别的木本植物物候期的自动观测方法和系统。

技术介绍

[0002]珠三角地区气候条件优越，盛产多种水果和花卉。特别是近年生态农业旅游的日益兴起对农业气象服务提出了新的需求，如农作物生长期预测，特别是瓜果采摘期、赏花期的预报预测，而这些都必须以具备高质量的物候期观测数据为前提。物候观测是农用气象预测预报技术的重要手段，对物候模型、植物物候期预测技术研发至关重要。目前农业气象观测现代化建设水平相对滞后，观测手段落后，自动化和信息化程度低。作物生长参数观测主要依靠人力，难以满足精准、实时、连续观测的要求，农业气象的自动化观测能力亟待提高。因此，研究自动化物候观测技术，建设植物物候自动观测系统，对于农业气象观测技术和观测数据质量的提升具有非常重要的意义。

技术实现思路

[0003]本专利技术的专利技术目的在于：为了解决现有技术中所存在的问题，即依靠人力观测植物物候期，难以满足精准、实时、连续观测的要求的问题，本专利技术提供了一种基于图像识别的木本植物物候期的自动观测方法和系统。
[0004]为了解决现有技术中所存在的问题，本专利技术采用以下技术方案：
[0005]S1，获取植物的样本图片，并形成第一样本集；
[0006]S2，将第一样本集中的样本图片按照物候期特征进行分类；在第一样本集中选取部分样本图片形成第二样本集，对第二样本集的样本图片进行特征标注，并将已标注的样本图片训练初步模型，通过初步模型对第一样本集中的样本图片进行物候期的初步分类筛选，并对分类筛选后的样本图片进行人工二次分类迁移；
[0007]S3，根据物候期特征把第一样本集中的样本图片分成主要物候期组和特殊物候期组，并对应获得主要物候期样本集和特殊物候期样本集，应用主要物候期样本集训练主要物候期识别模型，应用特殊物候期样本集训练特殊物候期识别模型；
[0008]S4，应用主要物候期样本集训练主要物候期识别模型。主要步骤包括：
[0009]S41，将主要物候期组的样本图片的物候期特征进行标注。
[0010]S42，将主要物候期样本集中的样本图片按照不同的物候期类型分别划分成训练集、验证集和测试集；
[0011]S43，将待输入的植物图片进行拆分和图像特征增强；
[0012]S44，将主要物候期样本集的训练集、验证集和测试集导入训练模型建立主要物候期识别模型；
[0013]S5，应用特殊物候期样本集训练特殊物候期识别模型，主要步骤包括：
[0014]S51，将特殊物候期样本集中的图片进行特征标注，
[0015]S52，将标注的图片通过图像转换代码生成与原图大小一致的特征标注色块图，并与原图成对保存于特殊物候期样本集中。
[0016]S53，将特殊物候期样本集中的图片对(原图和特征标注色块图)按照不同的物候期类型分别划分成训练集、验证集和测试集；
[0017]S54，将更新的特殊物候期样本集中的训练集、验证集和测试集导入训练模型建立特殊物候期识别模型。
[0018]S6，将待识别植物图片按照一定的规则先后通过主要物候期识别模型和特殊物候期识别模型对图像物候期特征进行识别。
[0019]S7，对图像识别结果进行判定。
[0020]作为本专利技术基于图像识别的木本植物物候期的自动观测方法的技术方案的一种改进，本专利技术根据植物物候期特征把第一样本集中的样本图片分成主要物候期组和特殊物候期组，对应建立的图像物候期识别模型分为主要物候期识别模型和特殊物候期识别模型。原因是考虑到空窗期图像的物候特征和其它物候期分类图像标注的背景特征相似，单独将空窗期类别的图片进行物候期特征标注和建立特殊物候期识别模型进行应用，可实现图像的空窗期或其它不包含观测对象的场景的判别，大大提高物候自动识别系统的识别效果。
[0021]作为本专利技术基于图像识别的木本植物物候期的自动观测方法的技术方案的一种改进，主要物候期识别模型识别的物候期包括常绿乔木和灌木的芽膨大期(分叶芽和花芽)、芽开放期(分叶芽和花芽)、展叶期(始期、盛期)、花蕾或花序出现期、开花期(初花期、盛花期、谢花期)、果实或种子果实成熟期、果实或种子脱落期(始期、末期)，对于落叶乔木和灌木则还包括叶变色期和落叶期；特殊物候期图片组包括树木全株仅布满成熟绿色叶片的时期，记为“纯绿叶期”，对于落叶乔木和灌木，特殊物候期组还包括叶片全部脱落后只剩下树枝的时期，记为“光杆期”，合并统称空窗期。
[0022]作为本专利技术基于图像识别的木本植物物候期自动观测方法的技术方案的一种改进，将植物主要物候期组图片和特殊物候期组图片，分别按照不同的步骤和方法，建立主要物候期识别模型和特殊物候期识别模型。
[0023]应用主要物候期样本集训练主要物候期识别模型，主要步骤包括：
[0024]S41，将主要物候期组的样本图片的物候期特征进行标注。
[0025]S42，将主要物候期样本集中的样本图片按照不同的物候期类型分别划分成训练集、验证集和测试集；
[0026]S43，将待输入的植物图片进行拆分和图像特征增强；
[0027]S44，将主要物候期样本集的训练集、验证集和测试集导入YOLOv4中的主干特征提取网络CSPDarkNet53，建立主要物候期识别模型；
[0028]应用特殊物候期样本集训练特殊物候期识别模型，主要步骤包括：
[0029]S51，将特殊物候期样本集中的图片进行特征标注，
[0030]S52，将标注的图片通过图像转换代码生成与原图大小一致的特征标注色块图，并与原图成对保存于特殊物候期样本集中。
[0031]S53，将特殊物候期样本集中的图片对(原图和特征标注色块图)按照不同的物候期类型分别划分成训练集、验证集和测试集；
[0032]S54，将更新的特殊物候期样本集中的训练集、验证集和测试集导入语义分割模型Unet建立图像特征提取模型即特殊物候期识别模型。
[0033]作为本专利技术基于图像识别的木本植物物候期的自动观测方法的技术方案的一种改进，将分类好的主要物候期样本集和特殊物候期样本集根据目标需求按照不同的方式进行物候期特征标注。
[0034]在S41中，将主要物候期组的样本图片的物候期特征进行标注，是应用labelImg工具中的Create RectBox功能以矩阵的形式标注其中的物候期特征。芽膨大期和芽开放期标记枝条上叶腋处的叶芽或花芽；花蕾或花序出现期标记枝条上的未开放的花苞或者花序；展叶期的周期特征区域为枝条两侧或顶部新发的梢或叶簇；花期的周期特征区域为单朵花(开花始期)或花簇；果期的特征区域为单颗果和一簇果枝；叶变色期和落叶期的特征是黄色的单朵叶片或复叶；
[0035]在S51中，将特殊物候期样本集中的图片进行特征标注，是应用Labelme工具中的Create Plygons功能将图片中表示物候期特征的区域以多边形的形式进行标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像识别的木本植物物候期的自动观测方法，其特征在于，包括有以下步骤：S1，获取植物的样本图片，并形成第一样本集；S2，将第一样本集中的样本图片按照物候期特征进行分类；在第一样本集中选取部分样本图片形成第二样本集，对第二样本集的样本图片进行特征标注，并将已标注的样本图片训练初步模型，通过初步模型对第一样本集中的样本图片进行物候期的初步分类筛选，并对分类筛选后的样本图片进行人工二次分类迁移；S3，根据物候期特征把第一样本集中的样本图片分成主要物候期组和特殊物候期组，并对应获得主要物候期样本集和特殊物候期样本集，应用主要物候期样本集训练主要物候期识别模型，应用特殊物候期样本集训练特殊物候期识别模型；S4，应用主要物候期样本集训练主要物候期识别模型，其步骤包括：S41，将主要物候期组的样本图片的物候期特征进行标注；S42，将主要物候期样本集中的样本图片按照不同的物候期类型分别划分成训练集、验证集和测试集；S43，将待输入的植物图片进行拆分和图像特征增强；S44，将主要物候期样本集的训练集、验证集和测试集导入训练模型建立主要物候期识别模型；S5，应用特殊物候期样本集训练特殊物候期识别模型，其步骤包括：S51，将特殊物候期样本集中的图片进行特征标注，S52，将标注的图片通过图像转换代码生成与原图大小一致的特征标注色块图，并与原图成对保存于特殊物候期样本集中；S53，将特征标注色块图加入特殊物候期样本集中，将样本集中的原图和特征标注色块图成对划分成训练集、验证集和测试集；S54，将更新的特殊物候期样本集中的训练集、验证集和测试集导入训练模型建立特殊物候期识别模型；S6，将待识别植物图片按照一定的规则先后通过主要物候期识别模型和特殊物候期识别模型对图像物候期特征进行识别；S7，对图像识别结果进行判定。2.根据权利要求1所述的基于图像识别的木本植物物候期的自动观测方法，其特征在于，在S3中，据物候期特征把第一样本集中的样本图片分成主要物候期组和特殊物候期组；其中，主要物候期组图片组的物候期类别包括：常绿乔木和灌木的芽膨大期、芽开放期、展叶期、花蕾或花序出现期、开花期、果实或种子果实成熟期、果实或种子脱落期，对于落叶乔木和灌木则还包括叶变色期和落叶期；特殊物候期图片组包括树木全株仅布满成熟绿色叶片的时期，记为“纯绿叶期”，对于落叶乔木和灌木，特殊物候期组还包括叶片全部脱落后只剩下树枝的时期，记为“光杆期”，合并统称空窗期。3.根据权利要求1所述的基于图像识别的木本植物物候期的自动观测方法，其特征在于，将主要物候期样本集和特殊物候期样本集，分别应用不同的训练模型建立主要物候期识别模型和特殊物候期识别模型；在S44中，将主要物候期样本集的训练集、验证集和测试集导入YOLOV4中的主干提取网络CSPDarkNet53建立主要物候期识别模型；而S54中，则将特殊物候期样本集中的训练集、验证集和测试集导入语义分割模型Unet建立特殊物候期识别
模型。4.根据权利要求1所述的基于图像识别的木本植物物候期的自动观测方法，其特征在于，在S41中，应用labelImg工具中的Create RectBox功能，将主要物候期样本集中的图片的物候期特征进行标注，以矩阵的形式标注其中的物候期特征。5.根据权利要求1所述的基于图像识别的木本植物物候期的自动观测方法，其特征在于，在S43中，将待输入的植物图片进行拆分包括以下步骤：样本图片各像素点具有对应的坐标，通过坐标平移按照一定像素大小拆分样本图片，并生成多份图片，相对应的xml文件对应分成多份xml文件；判断每个物候期特征标注的坐标是否在拆分图片的范围内，若是，则根据坐标平移法对物候期特征的坐标进行相应的加减以达到拆分图片上重新定位；定义拆分图片的有效像素为m，m像素以内的目标标注范围认为已失去物候期标注特征，因而将跨区域小于m像素的目标标注范围剔除，不写入多份xml文件。6.根据权利...

【专利技术属性】
技术研发人员：卢焕萍，朱怀卫，汪昊，谭浩波，黄光民，王广伦，王辉，吴乃庚，潘明海，
申请(专利权)人：广东省生态气象中心珠江三角洲环境气象预报预警中心，
类型：发明
国别省市：