本发明专利技术公开了一种玉米雄穗性状的自动检测方法，该方法首先对所采集的田间玉米下视图像进行目标性检测，生成雄穗候选框以获得雄穗潜在区域，随后通过多视角图像特征以及费舍尔向量编码方法对雄穗进行特征描述以及目标检测，从而对雄穗所属区域进行确认，同时在检测结果的基础上利用语义分割进一步完成雄穗精细形态的分割，最后建立了图像特征与长度性状、宽度性状、周长性状、直径性状、穗色性状、分枝数性状以及总穗数性状七种具有物理意义的生物量之间的映射关系。本发明专利技术方法能实时地对玉米雄穗的生长状态进行连续监测，检测结果准确率高，对玉米的生殖生长研究、玉米基因学与遗传学研究以及产量估计都具有重要的意义。
【技术实现步骤摘要】
一种玉米雄穗性状的自动检测方法
本专利技术属于计算机视觉和农业气象观测交叉领域，更具体地，涉及一种玉米雄穗性状的自动检测方法，即以拍摄的田间玉米下视图像序列为对象，获取玉米雄穗在图像中的性状特征的方法。
技术介绍
玉米作为世界三大粮食作物之一，在我国各地都有广泛种植。对玉米的各种性状进行分析与研究，可以辅助建立其性状与产量之间的关系从而获取更大的收益，同时也可以为玉米基因学与遗传学的研究提供依据。然而长期以来，对于玉米各种性状的检测主要是通过手工检测的方式，容易受主观因素影响且效率低下；同时观测过程中难免会对玉米的生长环境造成破坏；且由于玉米种植地域广，往往只能使用抽样平均的检测方法，不具有代表性。而通过拍摄的玉米下视序列图像，辅助计算机视觉的技术，为玉米性状的检测提供了一种新的客观的、无损的、精细化的方法。玉米的雄穗是玉米育种与种子生产过程中被广泛研究的重要农艺性状，其相关性状的检测对玉米的生殖生长研究、玉米基因学与遗传学研究以及产量估计等具有重大的意义，属于农业气象观测的一个重要内容。2011年唐文冰等在《中国农业工程学会2011年学术年会论文集》上发表的论文“基于双目立体视觉的玉米雄穗识别与定位研究”中利用图像分割技术对玉米雄穗的定位与检测展开了相关研究，但该论文的方法仅考虑了颜色特征，适用于特定光照与简单背景下的小范围检测，对自然光照与大田环境下的检测鲁棒性不好，且该方法未获取雄穗的精细化性状特征；2013年MengniYe等人在《EighthInternationalSymposiumonMultispectralImageProcessingandPatternRecognition》上发表的论文“Animage-basedapproachforautomaticdetectingtasselingstageofmaizeusingspatio-temporalsaliency”中采用了HOG-SVM的目标检测框架并加入了时空的线索对玉米雄穗进行检测，随后根据检测结果预测玉米抽穗期的到达时间，论文的不足之处在于只考虑了灰度图像的梯度特征信息，对于复杂背景的适应性不好，并且没有对雄穗进行分割，获取雄穗进行更加精细化的描述；2014年Ferhat等人在《ExpertSystemswithApplications》上发表的论文“Detectingcorntasselsusingcomputervisionandsupportvectormachines”中介绍了一种较鲁棒的玉米雄穗检测方法，相比上一篇论文，其考虑了更加鲁棒的形状与纹理特征，但本质上仍是基于颜色的图像分割，不适用于光照变化较大的序列图像，且没有将图像检测结果映射到具有物理含义的生物性状上；综上所述，尽管当前已有许多与玉米雄穗相关的检测技术，但由于各种方法或策略的局限性，很难在实际大田环境下进行应用，且这些方法都未建立从图像特征到实际具有物理含义的生物量的映射关系。
技术实现思路
本专利技术的目的在于提供一种玉米雄穗性状的自动检测方法，利用自然场景下玉米的下视序列图像，建立从图像特征到实际生物量的映射关系，提供一种包括玉米雄穗的长度、宽度、分枝数、周长、直径、颜色及总穗数在内的七种农艺学和形态学性状的自动测量方式。一种玉米雄穗性状的自动检测方法，主要包括雄穗的目标性检测、目标检测、语义分割以及性状特征映射四个部分，顺序包括：(1)目标性检测步骤，检测雄穗潜在区域，包括如下子步骤：(1.1)显著性颜色空间转换：对待测玉米图像I(R,G,B)进行显著性颜色空间转换得到I(S,L,C)，显著性图像的转换公式为：I(S,L,C)＝U·max(0,W·I(R,G,B)+b)其中，U,W和b均由历史样本图像通过训练学习得到；(1.2)阈值分割：以阈值T1对S分量通道的图像进行二值化操作，获取二值图像BW：(1.3)自适应滤波，对二值图像BW进行滤波操作以抑制阈值分割引入的噪声影响；(1.4)欧式距离变换，对自适应滤波后的图像通过形态学膨胀操作来连接断裂的区域，形态学膨胀操作公式定义为：其中，bw(x,y)表示距离变换后的二值图像，f(x,y)表示前景区域，即像素值为255的区域，b(x,y)表示背景区域，即像素值为0的区域，d(f(x,y),b(x,y))表示与背景点距离最近的前景点的欧式距离；(1.5)连通域提取，计算连通域外接矩形框得到n个雄穗的候选区域Proposali(i＝1,2,…,n)；(2)目标检测步骤，对候选框所限定的区域进行确认，识别出真正属于雄穗的候选框，包括如下子步骤：(2.1)特征提取，对Proposali对应的图像矩形区域的每个显著性颜色通道分别提取颜色直方图(ColorHistogram)表示的颜色特征、梯度方向直方图(HistogramofOrientedGradients)表示的轮廓特征以及局部二值模式(LocalBinaryPattern)表示的纹理特征；(2.2)特征编码，使用费舍尔向量编码(FisherVectorEncoding)方法对步骤(2.1)中提取的各类特征分别进行特征编码，获得更强中层特征描述；(2.3)检测，将提取的特征送入支撑向量机(SupportVectorMachine)模型进行检测，区分待检测样本属于雄穗还是非雄穗，所述支撑向量机模型由历史样本图像通过训练学习得到；(3)语义分割步骤，获取被(2)标记为雄穗的目标框中的雄穗精细形态，包括如下子步骤：(3.1)特征提取，以像素点为单位，对标记为雄穗的目标框提取颜色特征(S,L,C)，局部二值模式特征(LBP)以及位置特征(x,y)；(3.2)聚类，根据(3.1)提取的特征，使用K均值算法对像素进行聚类，获得C个表示雄穗可能的区域Regionj(j＝1,2,…,C)；(3.3)池化，对每个Regionj中的第一层特征进行池化，得到区域的中层特征表达，以使不同大小的区域得到相同维度的特征；(3.4)语义标注，将(3.3)得到的特征向量送入到SVM分类模型中，为每个Regionj进行语义标注，最后得到雄穗的精细化分割结果TasselSegmenti，所述SVM分类模型也由历史样本图像通过训练学习得到；(4)性状特征映射步骤，根据(2)和(3)的识别结果计算雄穗的一系列性状特征，具体包括：(4.1)长度性状与宽度性状，根据分割结果TasselSegmenti计算其外接椭圆的长短轴像素数，用来表示雄穗的长度Lengthi与宽度Widthi；(4.2)周长性状，对分割结果TasselSegmenti进行边缘提取，然后用边缘像素数表示雄穗的周长Perimeteri；(4.3)直径性状，计算与TasselSegmenti具有相同像素面积的圆的等效直径表示雄穗的直径Diameteri；(4.4)穗色性状，计算TasselSegmenti对应区域的RGB图像像素均值得到表示穗色的TasselColori；(4.5)分枝数性状，先对TasselSegmenti进行形态学细化操作提取骨架，然后提取骨架的末端点(EndPoints)，用末端点数表示雄穗的分枝数NumBranchesi；(4.6)总穗数性状，通过目标检测的结果，得到总穗数性状NumTassels。本文档来自技高网...
【技术保护点】
一种玉米雄穗性状的自动检测方法，其特征在于，所述方法包括如下步骤：(1)目标性检测步骤，检测雄穗潜在区域，包括如下子步骤：(1.1)显著性颜色空间转换，对待测玉米图像I(R,G,B)进行显著性颜色空间转换得到I(S,L,C)，显著性图像的转换公式为：I(S,L,C)＝U·max(0,W·I(R,G,B)+b)其中，U,W和b均由历史样本图像通过训练学习得到；(1.2)阈值分割，以阈值T1对S分量通道的图像进行二值化操作，获取二值图像BW：BW=0,ifS≤T1255,otherwise;]]>(1.3)自适应滤波，对二值图像BW进行滤波操作以抑制阈值分割引入的噪声影响；(1.4)欧式距离变换，对自适应滤波后的图像通过形态学膨胀操作来连接断裂的区域，形态学膨胀操作公式定义为：bw(x,y)=0,ifd(f(x,y),b(x,y))>T2255,otherwise]]>d(f(x,y),b(x,y))=(f(x,y)-b(x,y))2]]>其中，bw(x,y)表示距离变换后的二值图像，f(x,y)表示前景区域，即像素值为255的区域，b(x,y)表示背景区域，即像素值为0的区域，d(f(x,y),b(x,y))表示背景点距离最近的前景点的欧式距离；(1.5)连通域提取，计算连通域外接矩形框得到n个雄穗的候选区域Proposali(i＝1,2,…,n)；(2)目标检测步骤，对候选框所限定的区域进行确认，识别出真正属于雄穗的候选框，包括如下子步骤：(2.1)特征提取，对Proposali对应的图像矩形区域的每个显著性颜色通道分别提取颜色直方图(Color Histogram)表示的颜色特征、梯度方向直方图(Histogram of Oriented Gradients)表示的轮廓特征以及局部二值模式(Local Binary Pattern)表示的纹理特征；(2.2)特征编码，使用费舍尔向量编码(Fisher Vector Encoding)方法对步骤(2.1)中提取的各类特征分别进行特征编码，获得更强中层特征描述；(2.3)检测，将提取的特征送入支撑向量机(Support Vector Machine)模型进行检测，区分待检测样本属于雄穗还是非雄穗，所述支撑向量机模型由历史样本图像通过训练学习得到；(3)语义分割步骤，获取被(2)标记为雄穗的目标框中的雄穗精细形态，包括如下子步骤：(3.1)特征提取，以像素点为单位，对标记为雄穗的目标框提取颜色特征(S,L,C)，局部二值模式特征(LBP)以及位置特征(x,y)；(3.2)聚类，根据(3.1)提取的特征，使用K均值算法对像素进行聚类，获得C个表示雄穗可能的区域Regionj(j＝1,2,…,C)；(3.3)池化，对每个Regionj中的第一层特征进行池化，得到区域的中层特征表达，以使不同大小的区域得到相同维度的特征；(3.4)语义标注，将(3.3)得到的特征向量送入到SVM分类模型中，为每个Regionj进行语义标注，最后得到雄穗的精细化分割结果TasselSegmenti，所述SVM分类模型也由历史样本图像通过训练学习得到；(4)性状特征映射步骤，根据(2)和(3)的识别结果计算雄穗的一系列性状特征，具体包括：(4.1)长度性状与宽度性状，根据分割结果TasselSegmenti计算其外接椭圆的长短轴像素数，用来表示雄穗的长度Lengthi与宽度Widthi；(4.2)周长性状，对分割结果TasselSegmenti进行边缘提取，然后用边缘像素数表示雄穗的周长Perimeteri；(4.3)直径性状，计算与TasselSegmenti具有相同像素面积的圆的等效直径表示雄穗的直径Diameteri；(4.4)穗色性状，计算TasselSegmenti对应区域的RGB图像像素均值得到表示穗色的TasselColori；(4.5)分枝数性状，先对TasselSegmenti进行形态学细化操作提取骨架，然后提取骨架的末端点(End Points)，用末端点数表示雄穗的分枝数NumBranchesi；(4.6)总穗数性状，通过目标检测的结果，得到总穗数性状NumTassels。...
【技术特征摘要】
1.一种玉米雄穗性状的自动检测方法，其特征在于，所述方法包括如下步骤：(1)目标性检测步骤，检测雄穗潜在区域，包括如下子步骤：(1.1)显著性颜色空间转换，对待测玉米图像I(R,G,B)进行显著性颜色空间转换得到I(S,L,C)，显著性图像的转换公式为：I(S,L,C)＝U·max(0,W·I(R,G,B)+b)其中，U,W和b均由历史样本图像通过训练学习得到，U表示通过监督式度量学习获得的参数矩阵，W表示通过非监督特征学习获得的参数矩阵，b表示通过非监督特征学习获得的偏置参数；(1.2)阈值分割，以阈值T1对S分量通道的图像进行二值化操作，获取二值图像BW：(1.3)自适应滤波，对二值图像BW进行滤波操作以抑制阈值分割引入的噪声影响；(1.4)欧式距离变换，对自适应滤波后的图像通过形态学膨胀操作来连接断裂的区域，形态学膨胀操作公式定义为：其中，bw(x,y)表示距离变换后的二值图像，f(x,y)表示前景区域，即像素值为255的区域，b(x,y)表示背景区域，即像素值为0的区域，d(f(x,y),b(x,y))表示背景点距离最近的前景点的欧式距离；(1.5)连通域提取，计算连通域外接矩形框得到n个雄穗的候选区域Proposali，i＝1,2,…,n；(2)目标检测步骤，对所述候选区域进行确认，识别出真正属于雄穗的候选框，包括如下子步骤：(2.1)特征提取，对Proposali对应的图像候选区域的每个显著性颜色通道分别提取颜色直方图(ColorHistogram)表示的颜色特征、梯度方向直方图(HistogramofOrientedGradients)表示的轮廓特征以及局部二值模式(LocalBinaryPattern)表示的纹理特征；(2.2)特征编码，使用费舍尔向量编码(FisherVectorEncoding)方法对步骤(2.1)中提取的各类特征分别进行特征编码，获得中层特征描述；(2.3)检测，将所述步骤(2.2)获得的中层特征描述送入支撑向量机(SupportVectorMachine)模型进行检测，区分待检测样本属于雄穗还是非雄穗，其中，雄穗对应的候选框称之为目标框；所述支撑向量机模型由历史样本图像通过训练学习得到；(3)语义分割步骤，获取被所述步骤(2)标记为雄穗的目标框中的雄穗精细形态，包括如下子步骤：(3.1)特征提取，以像素点为单位，对标记为雄穗的目标框提取颜色特征(S,L,C)，局部二值模式特征(LBP)以及位置特征(x,y)；(3.2)聚类，根据所述步骤(3.1)提取的特征，使用K均值算法对像素进行聚类，获得C个表示雄穗可能的区域Regionj(j＝1,2,…,C)；(3.3)池化，对每个Regionj中的第一层特征进行池化，得到区域的中层特征表达，以使不同大小的区域得到相同维度的特征；(3.4)语义标注，将所述步骤(3.3)得到的特征向量送入到SVM分类模型中，为每个Regionj进行语义标注，最后得到雄穗的精细化分割结果TasselSegmenti，所述SVM分类模型也由历史样本图像通过训练学习得到；(4)性状特征映射步骤，根据所述步骤(2)和所述步骤(3)的识别结果计算雄穗的一系列性状特征，具体包括：(4.1)长度性状与宽度性状，根据分割结果TasselSegmenti计算其外接椭圆的长短轴像素数，用来表示雄穗的长度Lengthi与宽度Widthi；(4.2)周长性状，对分割结果TasselSegmenti进行边缘提取，然后用边缘像素数表示雄穗的周长Perimeteri；(4.3)直径性状，计算与TasselSegmenti具有相同像素面积的圆的等效直径表示雄穗的直径Diameteri；(4.4)穗色性状，计算TasselSegmenti对应区域的RGB图像像素均值得到表示雄穗的穗色TasselColori；(4.5)分枝数性状，先对TasselSegmenti进行形态学细化操作提取骨架，然后提取骨架的末端点(EndPoints)，用末端点数表示雄穗的分枝数NumBranchesi；(4.6)总穗数性状，通过目标检测的结果，得到总穗数性状NumTassels。2.如权利要求1所述的方法，其特征在于，所述步骤(1.1)中显著性图像的转换公式I(S,L,C)＝U·max(0,W·I(...
【专利技术属性】
技术研发人员：曹治国，陆昊，肖阳，方智文，朱延俊，朱磊，李亚楠，叶梦妮，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。