一种基于无人机影像的大范围的温室大棚解译方法技术

本发明专利技术公开了一种基于无人机影像的大范围的温室大棚解译方法，属于图像处理技术领域。本发明专利技术首先构建及训练多任务大棚提取网络，其包括影像特征提取网络和多任务预测网络，基于训练后的影像特征提取网络和大棚分割任务预测分支得到大棚解译器。通过配准不同通道的多光谱影像获取第一多光谱图和第一可见光图；并通过大棚解译器对第一多光谱图进行解译得到小图预测结果；拼接第一可见光图得到可见光大图，以小图预测结果为拼接输入影像，对应的第一可见光图的相机姿态信息和点云信息为拼接输入影像的相机姿态和影像间的点云信息，进行图像拼接处理，得到可见光大图的大棚解译结果。本发明专利技术能够在多种场景中具有高精度的配准表现。的配准表现。的配准表现。

【技术实现步骤摘要】
一种基于无人机影像的大范围的温室大棚解译方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于无人机影像的大范围的温室大棚解译方法。

技术介绍

[0002]土地覆盖分类是无人机影像的重要应用之一。在测绘、农业等应用中，需要对大图影像进行像素级的解译，获得大图影像中每个像素的类别，以得到准确的地物分布等。土地覆盖中的重要类别之一是温室大棚。温室大棚通过创造一个小环境来种植食物、蔬菜、水果等。温室使农业生产可以克服不利的自然条件，大大提高作物的产量。截至2020年底，我国温室面积187.3万公顷，对保障我国粮食安全具有重要意义。温室大棚极大提高了农业生产力，且已成为农业的重要组成部分，现有的农业生产已经离不开温室大棚的管理。因此，在土地覆盖分类中，准确大范围的大棚分类是非常重要的，关系国家粮食安全、耕地有效利用、生态环境保护、农村经济发展等
[0003]目前大部分研究都是得到无人机每次拍摄的小图的解译结果，即只解译无人机单次拍摄时传感器视场中的一小片区域。需要指出的是，无人机单次拍摄时传感器的视场有限，一张无人机小图的覆盖范围非常有限。尽管通过提升无人机飞行高度可以获得更大的视场，但影像分辨率会相应降低，且传感器的视差越大，其边缘处的影像变形更大。考虑到土地覆盖分类通常需要很大的范围的地物的解译结果，基于小图解译的方法只能获得小片区域中结果，无法满足实际要求。因此，研究大范围的土地覆盖分类方法是非常重要的。
[0004]目前最常用的做法大图解译方法是切分组合法，其过程为：将大图分割为多张小图，然后对小图分别预测。比如6000
×
2000的大图可以分为6
×
2张1000
×
1000的小图，每张小图都单独用MTGEN解译，然后按照小图在大图中的位置，将小图解译结果组合在一起，构成大图的解译结果。
[0005]但是，切分组合法会有明显的拼接痕迹，成图质量较差，其原因为：MTGEN在解译小图时，因为小图的边缘处没有足够的信息，导致小图边缘处的预测结果比较差，所以将小图预测结果组合为大图时，小图与小图的交界处的预测结果较差，造成明显的拼接痕迹。其次，Pix4D拼接后的大图，其影像质量相对于原图会有所下降，影像质量的下降也会导致MTGEN的预测效果也下降。总的来说，切分组合法存在两个问题：明显的拼接痕迹和影像质量下降。

技术实现思路

[0006]本专利技术的专利技术目的在于：针对现有无人机小图解译时的覆盖范围有限及切分组合法存在拼接缝隙的问题，以实现基于无人机影像的大范围的土地覆盖分类。
[0007]本专利技术采用的技术方案为：
[0008]一种基于无人机影像的大范围的温室大棚解译方法，该方法包括下列步骤：
[0009]步骤1、基于无人机小图影像的温室大棚解译，即构建及训练多任务大棚提取网
络；
[0010]采用多任务大棚提取网络对图像尺寸小于指定值的无人机影像进行影像特征提取和多任务预测；
[0011]所述多任务大棚提取网络包括影像特征提取网络和多任务预测网络，其中，影像特征提取网络用于提取输入影像的影像特征，多任务预测网络包括三个任务预测分支：大棚分割任务预测分支、大棚边缘分割任务预测分支和大棚边缘方向分割任务预测分支，三个任务预测分支分别基于提取的影像特征进行大棚分割任务预测、大棚边缘分割任务预测和大棚边缘方向分割任务预测；
[0012]基于设置的训练数据集对所述多任务大棚提取网络在训练时采用交叉熵损失对多任务大棚提取网络的网络参数进行训练学习，当满足预置的训练结束条件时结束，基于训练后的影像特征提取网络和多任务预测网络中的大棚分割任务预测分支得到大棚解译器；
[0013]即本专利技术中，大棚边分割缘和大棚方向分割的预测任务仅在训练时提供更多的监督，使得大棚分割的效果更佳。网络训练结束后，在推理阶段，只使用大棚分割任务预测来得到各个像素的类别(大棚和非大棚)，推理阶段不使用大棚边缘和方向的预测任务。
[0014]步骤2、基于无人机影像的大范围的土地覆盖分类：
[0015]步骤201，通过配准不同通道的多光谱影像，得到配准后的指定尺寸的第一多光谱图和第一可见光图，其中，第一多光谱图和第一可见光图的图像空间尺寸一致，且与多任务大棚提取网络的输入影像的空间尺寸相匹配；
[0016]通过步骤1得到的大棚解译器对第一多光谱图进行解译，得到第一多光谱图的预测结果(即小图预测结果)；
[0017]步骤202，对得到的第一可见光图进行图像拼接得到第二可见光图(可见光大图)，保存拼接过程中获得的各第一可见光图的相机姿态信息和点云信息；
[0018]步骤203，以第一多光谱图预测结果为图像拼接的拼接输入影像，对应的第一可见光图的相机姿态信息和点云信息为拼接输入影像的相机姿态和影像间的点云信息，对第一多光谱图的预测结果进行图像拼接处理，得到对应第二可见光图的大棚解译结果。
[0019]进一步的，步骤1中，多任务预测网络的大棚分割任务预测用于进行像素级的大棚和背景的二分类；多任务预测网络的大棚边缘分割任务预测用于进行像素级的大棚边缘和背景的二分类；多任务预测网络的大棚边缘方向分割任务预测用于进行像素级的背景和多个大棚边缘方向的多分类；其中，多个大棚边缘方向指将大棚边缘方向的值域等间隔划分为若干方向类别。
[0020]进一步的，步骤1中，多任务预测网络的大棚分割任务预测、大棚边缘分割任务预测和大棚边缘方向分割任务预测的预测预测结果分别经过Softmax函数后，得到各个类别的输出概率。
[0021]进一步的，步骤1中，训练数据集的样本标签的设置方式具体为；
[0022]大棚分割任务预测的样本标签采用人工标注大棚掩码；
[0023]大棚边缘分割任务预测的样本标签为：对标注的大棚掩码通过Canny算子计算边缘；
[0024]大棚边缘方向分割任务预测的样本标签为：通过Sobel算子计算大棚边缘处的垂
直方向和水平方向的梯度值，再通过反余弦函数得到边缘方向。
[0025]进一步的，步骤201中，第一多光谱图包括5个通道，第一可见光图包括3个通道。
[0026]进一步的，步骤202中，对第一可见光图进行图像拼接具体为：
[0027]解算每个第一可见光图的相机姿态信息并保存，包括位置参数和旋转角参数；
[0028]解算每个第一可见光图的点云信息并保存；
[0029]基于点云信息生成第二可见光图的正射影像。
[0030]本专利技术提供的技术方案至少带来如下有益效果：
[0031]通过大量测试，本专利技术的温室大棚的解译精度优于现有方法，能够在多种场景中具有高精度的配准表现。
附图说明
[0032]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机影像的大范围的温室大棚解译方法，其特征在于，包括下列步骤：步骤1、即构建及训练多任务大棚提取网络；采用多任务大棚提取网络对图像尺寸小于指定值的无人机影像进行影像特征提取和多任务预测；所述多任务大棚提取网络包括影像特征提取网络和多任务预测网络，其中，影像特征提取网络用于提取输入影像的影像特征，多任务预测网络包括三个任务预测分支：大棚分割任务预测分支、大棚边缘分割任务预测分支和大棚边缘方向分割任务预测分支，三个任务预测分支分别基于提取的影像特征进行大棚分割任务预测、大棚边缘分割任务预测和大棚边缘方向分割任务预测；基于设置的训练数据集对所述多任务大棚提取网络在训练时采用交叉熵损失对多任务大棚提取网络的网络参数进行训练学习，当满足预置的训练结束条件时结束，基于训练后的影像特征提取网络和多任务预测网络中的大棚分割任务预测分支得到大棚解译器；步骤2、基于无人机影像的大范围的土地覆盖分类：步骤201，通过配准不同通道的多光谱影像，得到配准后的指定尺寸的第一多光谱图和第一可见光图，其中，第一多光谱图和第一可见光图的图像空间尺寸一致，且与多任务大棚提取网络的输入影像的空间尺寸相匹配；通过步骤1得到的大棚解译器对第一多光谱图进行解译，得到第一多光谱图的预测结果；步骤202，对得到的第一可见光图进行图像拼接得到第二可见光图，保存拼接过程中获得的各第一可见光图的相机姿态信息和点云信息；步骤203，以第一多光谱图预测结果为图像拼接的拼接输入影像，对应的第一可见光图的相机姿态信息和点云信息为拼接输入影像的相机姿态和影像间的点云信息...

【专利技术属性】
技术研发人员：周纪，孟令宣，王子卫，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：