一种无人机航拍图像大豆作物行分割方法技术

本发明专利技术公开了一种无人机航拍图像大豆作物行分割方法。首先进行航拍大豆作物图像分割，进一步基于行扫描确定作物行上下边界，基于列扫描确定作物行左右边界，同时确定作物行外接矩形的左、右参考顶点对，基于左右参考顶点对匹配实现作物行外接矩形提取，基于同行和同列的作物行外接矩形实现孤立左右参考顶点对的外接矩形提取，对获得的外接矩形矩阵进行列欠分割元素分割和列对齐，行欠分割元素分割和行对齐，以及“零元素”分割操作，最终提取出整副图像的作物行外接矩形。应用本发明专利技术可实现无人机航拍大豆作物图像中作物行的分割，为应用无人机航拍图像实现基于作物行颜色、面积、高度等指标的大豆育种选种工作奠定了技术基础。

A Soybean Crop Row Segmentation Method for UAV Aerial Images

The invention discloses a soybean crop row segmentation method for aerial photography image of UAV. Firstly, aerial soybean crop image is segmented, and the upper and lower boundaries of crop rows are determined based on row scanning, the left and right boundaries of crop rows are determined based on column scanning, and the left and right reference vertex pairs of crop row outer rectangle are determined. The crop row outer rectangle is extracted based on matching of left and right reference vertex pairs, and the isolated left and right reference vertex is realized based on the same crop row outer rectangle. External rectangle extraction of point pairs, column under-segmentation element segmentation and column alignment, row under-segmentation element segmentation and row alignment, and \zero element\ segmentation operation are used to extract the crop line out-of-line rectangle of the whole image. The invention can realize crop row segmentation in UAV aerial photography soybean crop image, and lays a technical foundation for soybean breeding and breeding based on crop color, area, height and other indicators by using UAV aerial photography image.

【技术实现步骤摘要】
一种无人机航拍图像大豆作物行分割方法
本专利技术涉及一种图像处理方法，尤其是一种无人机航拍图像大豆作物行分割方法。
技术介绍
大豆是一种重要的经济作物。为提高大豆的产量，大豆的育种和选种是关键，因此具有非常重要的应用价值。目前大豆的育种和选种主要依赖专家的个人经验和人工测量，而大豆的育种和选种往往在上万个品种中进行，选育过程非常繁琐且选育结果随专家个体主观经验的不同而存在差异。因此，非常需要一些有助于实现大豆育种和选种过程自动化的方法。应用无人机拍摄田间大豆作物图像，基于航拍图像处理实现大豆选种的方法作为一种实现大豆育种选种过程自动化的良好解决方案，正受到越来越多从业人员的关注。然而，基于航拍图像处理实现大豆育种选种首先需实现航拍图像中不同品种大豆作物行的图像分割。目前，该工作主要依赖人工操作实现，费时费力，迫切需要一种大豆航拍图像作物行自动图像分割方法。本专利技术可实现无人机航拍大豆作物图像中作物行的自动分割，可为应用无人机航拍图像实现基于作物行颜色、面积、高度等指标的大豆育种选种工作奠定了技术基础。
技术实现思路
本专利技术的目的在于提供一种无人机航拍图像大豆作物行分割方法，以实现无人机航拍图像中大豆作物行的自动图像分割，提取出大豆作物行的外接矩形。本专利技术采用的技术方案是：本专利技术包括如下步骤：1.1)图像分割：采用基于归一化绿红色差OTSU自动阈值图像分割算法对无人机航拍m行×n列大豆作物图像S进行图像分割，获得二值图像I；1.2)基于行扫描的作物行上下边界提取：将图像I横向分割成H个图像块；对每个图像块进行行扫描；根据相邻扫描行上前景像素数从零到非零、从非零到零的变化确定作物行上、下边界在图像I中的y坐标；1.3)基于列扫描的作物行左右边界及外接矩形矩阵提取：将图像I纵向分割成V个图像块；对每个图像块进行列扫描；根据相邻扫描列上前景像素数从零到非零变化提取作物行左边界；提取作物行外接矩形的左上、左下参考顶点对；根据相邻扫描列上前景像素数从非零到零变化提取作物行右边界；提取作物行外接矩形的右上、右下参考顶点对；同时通过右、左参考顶点对间匹配提取相应作物行外接矩形的4个顶点；完成当前列扫描后，获得当前列上作物行外接矩形列，其中每个外接矩形为一个元素，每个元素存有该外接矩形左上、右下顶点图像坐标；根据当前列上已有外接矩形的左上、右下顶点图像坐标提取当前列中未匹配的孤立左、右参考顶点对对应作物行外接矩形，按序插入当前外接矩形列；完成当前图像块列扫描后，获得当前图像块作物行外接矩形矩阵存入当前图像作物行外接矩形矩阵中；根据当前图像块已处理行数调整下一图像块起始行，进行下一图像块列扫描，直至完成整副图像的列扫描；1.4)元素行高及列宽最小值、均值计算：求外接矩形矩阵中，外接矩形行高(外接矩形上下边距离)及列宽(外接矩形左右边距离)的最小值，并求大于最小值的行高、列宽的均值RowHAve、ColWAve；1.5)列欠分割元素分割：扫描外接矩形矩阵中各元素，若元素宽度是列宽均值的Nc倍，且大于阈值Tc，则将该元素横向等分为Nc个元素；1.6)列对齐：扫描外接矩形矩阵中各列，通过将每列中左上顶点x坐标与该列所有元素的左上顶点x坐标最小值的差值大于阈值Tw的各元素及与其同行的右侧元素顺序右移实现外接矩形矩阵的列对齐；1.7)行欠分割元素分割：扫描外接矩形矩阵中各元素，若元素行高是行高均值的Nr倍，且大于阈值Tr，将该元素纵向等分为Nr个元素；1.8)行对齐：扫描外接矩形矩阵中各行，通过将每行中左上顶点y坐标与该行所有元素的左上顶点y坐标最小值的差值大于阈值Th的各元素及与其同列的下方元素顺序下移实现外接矩形矩阵的行对齐；1.9)“零元素”分割：“零元素”指外接矩形矩阵中，无外接矩形的空缺元素，即该元素对应的作物行外接矩形未被提取，“零元素”的左上、右下顶点图像坐标均为0；根据“零元素”所在行、列中其他非“零元素”的左上、右下顶点图像坐标和平均列宽确定“零元素”的左上、右下顶点图像坐标。所述步骤1.2)中基于行扫描的作物行上下边界提取，实现方法如下：2.1)设定行扫描宽度Width，将二值图像I横向切割成H＝n÷Width个图像块，其中，第H个图像块大小为m行×nf列，nf＝Width+(nmodWidth)，mod表示求余数，其余每个图像块大小为m行×Width列；2.2)对各图像块第i行进行行扫描，i为1至m，统计第i行前景像素数RCount：若i＝1，则将RCount存入FRCount中，作为下一行扫描时的前一行前景像素数；若i>1，且FRCount等于0，RCount大于0，则设置作物行上边界标记FlagUp＝1，将作物行上边界纵坐标i-1存入UpY；若i>1，且FRCount大于0，RCount等于0，UpFlag＝1，则计算作物行上下边界距离Dud＝i-UpY，若Dud大于阈值Tud，则将第UpY行所有像素点标识为作物行上边界点，第i行所有像素点标识为作物行下边界点，将UpFlag清零，将RCount存入FRCount中；进行下一行扫描；2.3)重复步骤2.2)，直至完成当前图像块的所有行的行扫描；2.4)进行下一图像块的行扫描，直至完成所有图像块的行扫描。所述步骤1.3)中基于列扫描的作物行左右边界及外接矩形矩阵提取，包括如下步骤：3.1)列扫描：设定行扫描高度Height，将二值图像I纵向切割成V＝m÷Height个图像块，其中，第V个图像块大小为mf行×n列，mf＝Height+(mmodHeight)，其余每个图像块大小为Height行×n列；对每个图像块的第j列进行列扫描，j为1至n，统计第j列上前景像素数CCount；若j＝1，则将CCount存入FCCount中，作为下一列扫描时的前一列前景像素数，重新执行步骤3.1)；若j≤n，执行步骤3.2)；若j>n，即当前图像块完成列扫描，跳转至步骤3.9)；3.2)作物行左边界提取：若当前列前景像素数大于0且当前列的前一列前景像素数为0，即Count>0且FCount＝0，则当前列为作物行的左边界，执行步骤3.3)；否则，跳转到步骤3.4)；3.3)作物行左上、左下参考顶点识别：从上往下扫描当前列，若当前列的当前像素为上边界像素，则该像素被标识为左上参考顶点，记录该像素图像坐标，并设置存在左上参考顶点标识LeftUFlag＝1；若当前列的当前像素为下边界像素，则该像素被标识为左下参考顶点，记录该像素图像坐标，同时若LeftUFlag为1，则设置存在左上及左下参考顶点对标识LeftUDFlag＝1，并将LeftUFlag清零；判断是否连续出现左上及左下参考顶点，即判断LeftUDFlag是否为1，若是，则该对左上、左下参考顶点对为有效的作物行外接矩形左参考顶点对，保存该对左上和左下参考顶点图像坐标，并将有效左参考顶点对数自增1，LeftUDFlag清零，设置前已有相邻的有效左边界标记LeftSFlag为1；完成当前列扫描后，跳转至步骤3.1)；3.4)有效配对作物行右边界提取：若当前列前景像素数等于0且当前列的前一列前景像素数大于0，即CCount＝0且FCCount>0，则当前列为作物行的右边界，进一步判断当前右边界之前本文档来自技高网...

【技术保护点】
1.一种无人机航拍图像大豆作物行分割方法，其特征在于，包括如下步骤：1.1)图像分割：采用基于归一化绿红色差OTSU自动阈值图像分割算法对无人机航拍m行×n列大豆作物图像S进行图像分割，获得二值图像I；1.2)基于行扫描的作物行上下边界提取：将图像I横向分割成H个图像块；对每个图像块进行行扫描；根据相邻扫描行上前景像素数从零到非零、从非零到零的变化确定作物行上、下边界在图像I中的y坐标；1.3)基于列扫描的作物行左右边界及外接矩形矩阵提取：将图像I纵向分割成V个图像块；对每个图像块进行列扫描；根据相邻扫描列上前景像素数从零到非零变化提取作物行左边界；提取作物行外接矩形的左上、左下参考顶点对；根据相邻扫描列上前景像素数从非零到零变化提取作物行右边界；提取作物行外接矩形的右上、右下参考顶点对；同时通过右、左参考顶点对间匹配提取相应作物行外接矩形的4个顶点；完成当前列扫描后，获得当前列上作物行外接矩形列，其中每个外接矩形为一个元素，每个元素存有该外接矩形左上、右下顶点图像坐标；根据当前列上已有外接矩形的左上、右下顶点图像坐标提取当前列中未匹配的孤立左、右参考顶点对对应作物行外接矩形，按序插入当前外接矩形列；完成当前图像块列扫描后，获得当前图像块作物行外接矩形矩阵存入当前图像作物行外接矩形矩阵中；根据当前图像块已处理行数调整下一图像块起始行，进行下一图像块列扫描，直至完成整副图像的列扫描；1.4)元素行高及列宽最小值、均值计算：求外接矩形矩阵中，外接矩形行高(外接矩形上下边距离)及列宽(外接矩形左右边距离)的最小值，并求大于最小值的行高、列宽的均值RowHAve、ColWAve；1.5)列欠分割元素分割：扫描外接矩形矩阵中各元素，若元素宽度是列宽均值的Nc倍，且大于阈值Tc，则将该元素横向等分为Nc个元素；1.6)列对齐：扫描外接矩形矩阵中各列，通过将每列中左上顶点x坐标与该列所有元素的左上顶点x坐标最小值的差值大于阈值Tw的各元素及与其同行的右侧元素顺序右移实现外接矩形矩阵的列对齐；1.7)行欠分割元素分割：扫描外接矩形矩阵中各元素，若元素行高是行高均值的Nr倍，且大于阈值Tr，将该元素纵向等分为Nr个元素；1.8)行对齐：扫描外接矩形矩阵中各行，通过将每行中左上顶点y坐标与该行所有元素的左上顶点y坐标最小值的差值大于阈值Th的各元素及与其同列的下方元素顺序下移实现外接矩形矩阵的行对齐；1.9)“零元素”分割：“零元素”指外接矩形矩阵中，无外接矩形的空缺元素，即该元素对应的作物行外接矩形未被提取，“零元素”的左上、右下顶点图像坐标均为0；根据“零元素”所在行、列中其他非“零元素”的左上、右下顶点图像坐标和平均列宽确定“零元素”的左上、右下顶点图像坐标。...

【技术特征摘要】
1.一种无人机航拍图像大豆作物行分割方法，其特征在于，包括如下步骤：1.1)图像分割：采用基于归一化绿红色差OTSU自动阈值图像分割算法对无人机航拍m行×n列大豆作物图像S进行图像分割，获得二值图像I；1.2)基于行扫描的作物行上下边界提取：将图像I横向分割成H个图像块；对每个图像块进行行扫描；根据相邻扫描行上前景像素数从零到非零、从非零到零的变化确定作物行上、下边界在图像I中的y坐标；1.3)基于列扫描的作物行左右边界及外接矩形矩阵提取：将图像I纵向分割成V个图像块；对每个图像块进行列扫描；根据相邻扫描列上前景像素数从零到非零变化提取作物行左边界；提取作物行外接矩形的左上、左下参考顶点对；根据相邻扫描列上前景像素数从非零到零变化提取作物行右边界；提取作物行外接矩形的右上、右下参考顶点对；同时通过右、左参考顶点对间匹配提取相应作物行外接矩形的4个顶点；完成当前列扫描后，获得当前列上作物行外接矩形列，其中每个外接矩形为一个元素，每个元素存有该外接矩形左上、右下顶点图像坐标；根据当前列上已有外接矩形的左上、右下顶点图像坐标提取当前列中未匹配的孤立左、右参考顶点对对应作物行外接矩形，按序插入当前外接矩形列；完成当前图像块列扫描后，获得当前图像块作物行外接矩形矩阵存入当前图像作物行外接矩形矩阵中；根据当前图像块已处理行数调整下一图像块起始行，进行下一图像块列扫描，直至完成整副图像的列扫描；1.4)元素行高及列宽最小值、均值计算：求外接矩形矩阵中，外接矩形行高(外接矩形上下边距离)及列宽(外接矩形左右边距离)的最小值，并求大于最小值的行高、列宽的均值RowHAve、ColWAve；1.5)列欠分割元素分割：扫描外接矩形矩阵中各元素，若元素宽度是列宽均值的Nc倍，且大于阈值Tc，则将该元素横向等分为Nc个元素；1.6)列对齐：扫描外接矩形矩阵中各列，通过将每列中左上顶点x坐标与该列所有元素的左上顶点x坐标最小值的差值大于阈值Tw的各元素及与其同行的右侧元素顺序右移实现外接矩形矩阵的列对齐；1.7)行欠分割元素分割：扫描外接矩形矩阵中各元素，若元素行高是行高均值的Nr倍，且大于阈值Tr，将该元素纵向等分为Nr个元素；1.8)行对齐：扫描外接矩形矩阵中各行，通过将每行中左上顶点y坐标与该行所有元素的左上顶点y坐标最小值的差值大于阈值Th的各元素及与其同列的下方元素顺序下移实现外接矩形矩阵的行对齐；1.9)“零元素”分割：“零元素”指外接矩形矩阵中，无外接矩形的空缺元素，即该元素对应的作物行外接矩形未被提取，“零元素”的左上、右下顶点图像坐标均为0；根据“零元素”所在行、列中其他非“零元素”的左上、右下顶点图像坐标和平均列宽确定“零元素”的左上、右下顶点图像坐标。2.如权利要求1所述的一种无人机航拍图像大豆作物行分割方法，其特征在于，所述的基于行扫描的作物行上下边界提取，实现方法如下：2.1)设定行扫描宽度Width，将二值图像I横向切割成H＝n÷Width个图像块，其中，第H个图像块大小为m行×nf列，nf＝Width+(nmodWidth)，mod表示求余数，其余每个图像块大小为m行×Width列；2.2)对各图像块第i行进行行扫描，i为1至m，统计第i行前景像素数RCount：若i＝1，则将RCount存入FRCount中，作为下一行扫描时的前一行前景像素数；若i>1，且FRCount等于0，RCount大于0，则设置作物行上边界标记FlagUp＝1，将作物行上边界纵坐标i-1存入UpY；若i>1，且FRCount大于0，RCount等于0，UpFlag＝1，则计算作物行上下边界距离Dud＝i-UpY，若Dud大于阈值Tud，则将第UpY行所有像素点标识为作物行上边界点，第i行所有像素点标识为作物行下边界点，将UpFlag清零，将RCount存入FRCount中；进行下一行扫描；2.3)重复步骤2.2)，直至完成当前图像块的所有行的行扫描；2.4)进行下一图像块的行扫描，直至完成所有图像块的行扫描。3.如权利要求1所述的一种无人机航拍图像大豆作物行分割方法，其特征在于，所述的基于列扫描的作物行左右边界及外接矩形矩阵提取，包括如下步骤：3.1)列扫描：设定行扫描高度Height，将二值图像I纵向切割成V＝m÷Height个图像块，其中，第V个图像块大小为mf行×n列，mf＝Height+(mmodHeight)，其余每个图像块大小为Height行×n列；对每个图像块的第j列进行列扫描，j为1至n，统计第j列上前景像素数CCount；若j＝1，则将CCount存入FCCount中，作为下一列扫描时的前一列前景像素数，重新执行步骤3.1)；若j≤n，执行步骤3.2)；若j>n，即当前图像块完成列扫描，跳转至步骤3.9)；3.2)作物行左边界提取：若当前列前景像素数大于0且当前列的前一列前景像素数为0，即Count>0且FCount＝0，则当前列为作物行的左边界，执行步骤3.3)；否则，跳转到步骤3.4)；3.3)作物行左上、左下参考顶点识别：从上往下扫描当前列，若当前列的当前像素为上边界像素，则该像素被标识为左上参考顶点，记录该像素图像坐标，并设置存在左上参考顶点标识LeftUFlag＝1；若当前列的当前像素为下边界像素，则该像素被标识为左下参考顶点，记录该像素图像坐标，同时若LeftUFlag为1，则设置存在左上及左下参考顶点对标识LeftUDFlag＝1，并将LeftUFlag清零；判断是否连续出现左上及左下参考顶点，即判断LeftUDFlag是否为1，若是，则该对左上、左下参考顶点对为有效的作物行外接矩形左参考顶点对，保存该对左上和左下参考顶点图像坐标，并将有效左参考顶点对数自增1，LeftUDFlag清零，设置前已有相邻的有效左边界标记LeftSFlag为1；完成当前列扫描后，跳转至步骤3.1)；3.4)有效配对作物行右边界提取：若当前列前景像素数等于0且当前列的前一列前景像素数大于0，即CCount＝0且FCCount>0，则当前列为作物行的右边界，进一步判断当前右边界之前是否已有相邻的有效左边界，即LeftSFlag＝1，且当前右边界与该前已有相邻的有效左边界距离Dlr是否大于阈值Tlr：若是，则当前右边界为有效配对右边界，作物行外接矩形列数自增1，跳转到步骤3.5)；否则，跳转至步骤3.1)；3.5)作物行右上、右下参考顶点识别：从上往下扫描当前列，若当前列的当前像素为上边界像素，则该像素被标识为右上参考顶点，记录该像素图像坐标，并设置存在右上参考顶点标识RightUFlag＝1；若当前列的当前像素为下边界像素，则该像素被标识为右下参考顶点，记录该像素图像坐标，若RightUFlag为1，则设置存在右上及右下参考顶点对标识RightUDFlag＝1，并将RightUFlag清零；判断是否连续出现右上及右下参考顶点，即判断RightUDFlag是否为1，并判断LeftSFlag是否为1：若是，则该对右上、右下参考顶点对为有效的作物行外接矩形右参考顶点对，保存该对右上、右下参考顶点图像坐标，并将有效右参考顶点对数自增1，RightUDFlag清零，执行步骤3.6)；否则，重新执行步骤...

【专利技术属性】
技术研发人员：项荣，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：浙江,33