一种基于双通道复合深度网络的遥感图像果树分割方法技术

本申请涉及一种基于双通道复合深度网络的遥感图像果树分割方法，属于遥感图像果树提取技术领域，包括如下步骤：生成2.5D图像数据；构建果树分割模型，所述果树分割模型包括双通道复合深度网络和单尺度辅助损失函数模块；对所述2.5D图像数据描绘树冠标签，剔除不含树冠的2.5D图像数据和对应标签，生成所述果树分割模型的训练集和测试集；使用训练集和测试集对所述果树分割模型进行训练，并使用训练完成的果树分割模型从图像中进行果树分割。本发明专利技术能够结合局部信息和全局语义信息，有效的从复杂地形和背景中提取出果树树冠信息。地形和背景中提取出果树树冠信息。地形和背景中提取出果树树冠信息。

【技术实现步骤摘要】
一种基于双通道复合深度网络的遥感图像果树分割方法


[0001]本申请涉及遥感图像果树提取
，具体涉及一种基于双通道复合深度网络的遥感图像果树分割方法。

技术介绍

[0002]果树的定位和计数有助于高通量表型研究和精细农业管理。果树最重要的组成部分是树冠，通常被认为是评估树木生长活力和表征树木竞争关系的指标。因此，如何获得树冠信息对于把握果树的位置、数量和生长状态具有重要意义。传统上，对果树树冠的手动调查和现场测量都需要耗费大量时间和人力，往往无法满足高效率和高精确度获取果树树冠信息的要求。为了实现低成本高效率获取果树树冠信息，研究如何从高分辨率且低成本的无人机航摄数据中提取果树树冠信息，成为大面积果树树冠自动化提取领域所面临的瓶颈。
[0003]树冠提取方法大致可分为基于图像强度、树冠形状、纹理和深度学习这4类方法。基于图像强度的方法主要利用树冠和背景像素值的差异来提取树冠，该类方法在树冠与背景存在较大差异的情况下具有优势，但在高郁闭度和复杂背景下难以解决树冠遮挡和背景干扰的问题。基于树冠形状的提取方法主要利用树冠的形态特征，并结合其他方法提取图像中的树冠，该类方法在树冠形态单一的情况下对树冠的提取效果较好，但需要设置的人工参数较多，自动化程度较低。基于纹理的方法主要利用树冠的纹理相似度来提取树冠，利用纹理特征来提取树冠的方法在树冠形态和背景简单的情况下提取效果较好，但该方法对于复杂树冠形状的适应性差。基于深度学习的方法主要利用神经网络强大的非线性表达和语义信息提取能力来提取树冠。卷积神经网络CNN和变换神经网络Transformer作为地物提取最为常用的算法之一，具有不需要手动设计特征、能够深度挖掘数据潜在的特征等优点。但大多数基于卷积神经网络CNN的方法由于卷积的感受野有限，无法提取图像的全局上下文信息。而变换神经网络Transformer全局上下文信息提取能力较强，但在局部信息提取能力方面不如卷积神经网络CNN。如何有效地整合卷积神经网络CNN和变换神经网络Transformer在提取树冠局部和全局上下文信息方面的优势，并引入额外的信息来提高深度网络的适用性，已成为树冠分割的一个关键和有价值的问题。
[0004]公开号为CN114170510A的专利技术专利公开了一种基于迁移学习的农作物智能遥感提取方法及系统，该专利技术有效控制了地域差异产生的同类作物物候特征差异，但并未解决更加精细化的果树树冠提取问题；公开号为CN113989668A的专利技术专利公开了一种基于时间序列特征的遥感农作物自动分类方法，该专利技术有效避免了其他方法在扩展分类模型到其他年份或者研究区时需要重新训练模型的特点，但同样存在精细化的果树树冠提取问题。

技术实现思路

[0005]本专利技术的目的在于，提供一种基于双通道复合深度网络的遥感图像果树分割方法，能够结合局部信息和全局语义信息，有效的从复杂地形和背景中提取出果树树冠信息。
[0006]本专利技术采取的技术方案为：一种基于双通道复合深度网络的遥感图像果树分割方法，包括如下步骤：S1：利用无人机正射图像和树冠高度模型CHM生成2.5D图像数据；S2：构建果树分割模型，所述果树分割模型包括可同时提取局部信息和全局语义信息的双通道复合深度网络和单尺度辅助损失函数模块；所述双通道复合深度网络包括局部信息提取分支、全局语义信息提取分支、特征融合分支和特征解码模块；所述局部信息提取分支为卷积神经网络CNN，用于提取目标对象的局部信息；所述全局语义信息提取分支为变换神经网络Transformer，用于提取目标对象的全局语义信息；所述特征融合分支为基于坐标注意力机制的特征融合模块CAFM，用于实现局部信息提取分支和全局语义信息提取分支的信息交互，并根据坐标注意力机制生成加权特征图，实现特征融合；所述特征解码模块包括多尺度语义信息交互模块和解码部分，多尺度语义信息交互模块用于对融合后的特征进行多尺度信息交互，解码部分用于解码特征信息，恢复特征图的分辨率，得到最终的果树分割结果；所述单尺度辅助损失函数模块用于对特征融合模块CAFM输出的特征图进行处理，计算辅助损失；S3：利用无人机正射影像描绘树冠标签，剔除不含树冠的2.5D图像数据和对应标签，并将剩余的2.5D图像数据和对应标签作为所述果树分割模型的训练集和测试集；S4：使用训练集和测试集对所述果树分割模型进行训练，使用单尺度辅助损失函数模块对特征融合模块CAFM输出的特征图进行卷积和上采样操作，恢复融合后的特征图的通道数和图像分辨率，并与真实果树标签进行损失计算，得到辅助损失；将所述特征解码模块输出的特征图与真实果树标签进行损失计算，得到主损失，并将主损失与辅助损失相加得到网络的总损失，最后将总损失进行反向传播，优化模型的参数，完成模型训练；S5；使用训练完成的果树分割模型从图像中进行果树分割。
[0007]进一步地，所述步骤S1的具体方法为：S101：对无人机正射图像进行处理，获取数字正射图像DOM、数字表面模型DSM和三维密集点云；S102：使用布料模拟滤波方法从三维密集点云中分离出地面点云；S103：使用克里金插值方法对地面点云进行插值，生成数字地形模型DTM，并将数字表面模型DSM和数字地形模型DTM进行差分运算，得到树冠高度模型CHM，再将数字正射图像DOM和树冠高度模型CHM进行通道组合，得到2.5D图像数据。
[0008]进一步地，所述卷积神经网络CNN包括六个阶段，第一阶段为一个3
×
3卷积层，第二阶段、第三阶段和第四阶段为融合移动反向瓶颈卷积模块层，即Fused MBConv模块层，第二阶段、第三阶段和第四阶段分别对模块自身堆叠2层、4层和4层，第五阶段和第六阶段为移动反向瓶颈卷积模块层，即MBConv模块层，第五阶段和第六阶段分别对模块自身堆叠15层和15层，所述融合移动反向瓶颈卷积模块层，即FusedMBConv模块层包括第一卷积层和第一压缩与激励SE模块，所述移动反向瓶颈卷积模块层，即MBConv模块层包括第二卷积层、可分离卷积层和第二压缩与激励SE模块。
[0009]进一步地，所述变换神经网络Transformer包括五个阶段，第一阶段为一个卷积令牌嵌入层，即Convolutional Token Embedding层，第二阶段、第三阶段、第四阶段和第五阶段均为十字形窗口变换神经网络模块层，即CSwin Transformer模块层，第二阶段、第三阶段、第四阶段和第五阶段分别对模块自身堆叠1层、2层、21层和1层，所述十字形窗口变换神经网络模块层，即CSwinTransformer模块层包括层归一化机制、十字形窗口注意力机制和多层感知器。
[0010]进一步地，所述特征融合模块CAFM包括2个输入层、4层卷积层和3个坐标注意力机制模块，根据坐标注意力机制生成加权特征图的计算公式如下：；其中，y
c
(i，j)为图像第i行第j列像素值在通道数为c时的输出特征，x
c
(i，j)为图像第i行第j列的像素值在通道数为c时的输入特征，为坐标注意力机制在第i行、第c本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双通道复合深度网络的遥感图像果树分割方法，其特征在于，包括如下步骤：S1：利用无人机正射图像和树冠高度模型CHM生成2.5D图像数据；S2：构建果树分割模型，所述果树分割模型包括可同时提取局部信息和全局语义信息的双通道复合深度网络和单尺度辅助损失函数模块；所述双通道复合深度网络包括局部信息提取分支、全局语义信息提取分支、特征融合分支和特征解码模块；所述局部信息提取分支为卷积神经网络，用于提取目标对象的局部信息；所述全局语义信息提取分支为变换神经网络，用于提取目标对象的全局语义信息；所述特征融合分支为基于坐标注意力机制的特征融合模块CAFM，用于实现局部信息提取分支和全局语义信息提取分支的信息交互，并根据坐标注意力机制生成加权特征图，实现特征融合；所述特征解码模块包括多尺度语义信息交互模块和解码部分，多尺度语义信息交互模块用于对融合后的特征进行多尺度信息交互，解码部分用于解码特征信息，恢复特征图的分辨率，得到最终的果树分割结果；所述单尺度辅助损失函数模块用于对特征融合模块CAFM输出的特征图进行处理，计算辅助损失；S3：利用无人机正射影像描绘树冠标签，剔除不含树冠的2.5D图像数据和对应标签，并将剩余的2.5D图像数据和对应标签作为所述果树分割模型的训练集和测试集；S4：使用训练集和测试集对所述果树分割模型进行训练，使用单尺度辅助损失函数模块对特征融合模块CAFM输出的特征图进行卷积和上采样操作，恢复融合后的特征图的通道数和图像分辨率，并与真实果树标签进行损失计算，得到辅助损失；将所述特征解码模块输出的特征图与真实果树标签进行损失计算，得到主损失，并将主损失与辅助损失相加得到网络的总损失，最后将总损失进行反向传播，优化模型的参数，完成模型训练；S5；使用训练完成的果树分割模型从图像中进行果树分割。2.根据权利要求1所述的一种基于双通道复合深度网络的遥感图像果树分割方法，其特征在于，所述步骤S1的具体方法为：S101：对无人机正射图像进行处理，获取数字正射图像DOM、数字表面模型DSM和三维密集点云；S102：使用布料模拟滤波方法从三维密集点云中分离出地面点云；S103：使用克里金插值方法对地面点云进行插值，生成数字地形模型DTM，并将数字表面模型DSM和数字地形模型DTM进行差分运算，得到树冠高度模型CHM，再将数字正射图像DOM和树冠高度模型CHM进行通道组合，得到2.5D图像数据。3.根据权利要求1所述的一种基于双通道复合深度网络的遥感图像果树分割方法，其特征在于，所述卷积神经网络包括六个阶段，第一阶段为一个3
×
3卷积层，第二阶段、第三阶段和第四阶段为融合移动反向瓶颈卷积模块层，第二阶段、第三阶段和第四阶段分别对模块自身堆叠2层、4层和4层，第五阶段和第六阶段为移动反向瓶颈卷积模块层，第五阶段和第六阶段分别对模块自身堆叠15层和15层，所述融合移动反向瓶颈卷积模块层包括第一卷积层和第一压缩与激励SE模块，所述移动反向瓶颈卷积模块层包括第二卷积层、可分离卷积层和第二压缩与激励SE模块。
4.根据权利要求1...

【专利技术属性】
技术研发人员：何海清，周福阳，夏元平，吕开云，陈婷，
申请(专利权)人：东华理工大学南昌校区，
类型：发明
国别省市：