基于纹理增强卷积网络的居民区要素提取方法技术

本发明专利技术涉及基于纹理增强卷积网络的居民区要素提取方法，使用灰度级量化方法提取影像的纹理信息，并对其进行归一化；然后在U‑Net网络的1×1卷积层之前融合CNN特征和影像纹理信息，并使用融合后的特征继续前向传播计算损失，通过损失反向传播实现网络训练。本发明专利技术以实现居民区要素高精度提取为目标，通过构建分辨率为2米的光学卫星影像样本库，将影像纹理信息融入CNN特征，提高了语义分割结果的精度，能够有效降低模型推理结果的漏检和虚警，整体性能优于原始U‑Net网络。

【技术实现步骤摘要】
基于纹理增强卷积网络的居民区要素提取方法
本专利技术涉及遥感
，具体涉及一种基于纹理增强卷积网络的居民区要素提取方法。
技术介绍
语义分割是计算机视觉领域的热点性问题之一，它可以按照预先定义的几类视觉意义，将图像分割为若干个相邻但彼此不重叠的区域，即实现图像的像素级分类。遥感影像语义分割主要用来在遥感影像中实现像素级的地物提取，这在要素测图和地理信息更新方面有较大应用前景。近年来，以卷积神经网络(ConvolutionalNeuralNetwork,CNN)为杰出代表的深度学习技术为语义分割研究注入了新的生机。CNN网络最初一般使用卷积层加全连接层完成图像切片分类任务，并且取得了巨大成功。但正是由于全连接层的存在，导致网络无法生成与原始图像尺寸一致的结果，这就限制了CNN在语义分割中的应用。直到Long等提出全卷积网络(FullConnectedNetworks,FCN)，才首次实现了端到端的语义分割，但该网络在解码阶段进行上采样和反卷积时，由于没有传递编码阶段的池化操作信息，容易导致上采样后像素位置信息的不准确。基于FCN框架，Badrinarayanan等设计了对称的SegNet网络，其中的池化层能记录池化后的值在原特征图中的空间位置，使得在上采样时，能够精准地恢复原位置，提高了图像的分割精度。针对医疗图像语义分割，Ronneberger等在2015年提出了U-Net网络，该网络为“U”形结构，分为对称的编码-解码部分，它可以有效地融合多级别大小的特征图，利用浅层信息处理小目标，利用深层信息判断大目标的分类。随着可获得的遥感影像数据的逐渐增多，越来越多的学者和研究机构开始投入到遥感影像语义分割的研究之中。Iglovikov等也通过实验证明了U-Net在遥感影像中的高效应用，并取得了Kaggle语义分割比赛第一名的成绩。当同时具有光学影像和LiDAR数据时，YingSun等首先利用提取的间模态和内模态特征构造了多通道输入数据，然后通过设计多尺度编解码结构的CNN实现了优于SegNet网络的分割结果；此外，YingSun等还融合主动轮廓方法和CNN特征，提升了建筑物轮廓边缘的提取精度。但是，由于与影像同区域的LiDAR数据获取难度较大，该信息融合的方法难以大范围推广。
技术实现思路
本专利技术的目的是提供一种基于纹理增强卷积网络的居民区要素提取方法，针对空间分辨率为2米的光学卫星影像中的居民区要素，利用纹理信息对U-Net网络进行改进，获得较高精度的居民区要素提取结果。本专利技术所采用的技术方案为：基于纹理增强卷积网络的居民区要素提取方法，其特征在于：包括以下步骤：步骤一：使用灰度级量化方法提取影像的纹理信息，并对其进行归一化；步骤二：在U-Net网络的1×1卷积层之前融合CNN特征和影像纹理信息，并使用融合后的特征继续前向传播计算损失，通过损失反向传播实现网络训练。步骤一具体为：采用一阶统计分析方法，通过对原始影像灰度级进行量化表征纹理特征，设置图像灰度量化级数为k＝16，然后对纹理信息图做最大值归一化操作。步骤二具体为：在步骤一获得的原始影像纹理信息图的基础上进行网络训练，网络训练时每次输入3类数据：原始影像、标签图和纹理信息图，使用原始影像进行原始U-Net网络编码和解码运算，在网络1×1卷积层前将解码得到的CNN特征与纹理信息图连接组合，一并输入1×1层和Sigmoid激活函数层获取分割结果，最后根据标签图像进行损失计算并反向传播训练模型。U-Net网络编码和解码运算具体包括以下步骤：U-Net的结构总共包含23层，分为编码-解码两个对称部分；左侧编码部分为重复结构，每次重复中都包含2层卷积和1层池化操作，卷积层中卷积核大小均为3×3，激活函数使用ReLU，两个卷积层之后是一个步长为2、大小为2×2的最大值池化层，每一次下采样后网络通道的数量加倍；右侧解码部分中的每一步都首先使用反卷积，每次使用反卷积都将特征通道数量减半，特征图大小加倍，反卷积过后，将反卷积的结果与编码部分中对应步骤的特征图拼接起来，对编码部分中的特征图裁切后进行拼接，每次拼接后对特征图进行2次3×3的卷积；最后一层的卷积核大小为1×1，将64通道的特征图转化为特定深度的图像，具体层数根据分类数量确定，将像素分成居民区和其它两类，最终输出为2层，具体实现时，1×1卷积后的2层特征图输出后接Sigmoid激活函数。ReLU为激活函数，其输出为a＝max(0,z)。最大值池化的具体操作为，使用一个2×2的滤波器，取出4个中权重最大的一个。Sigmoid函数的输出值范围在(0,1)之间，对于输入变量z，函数具体定义如下：本专利技术具有以下优点：本专利技术以实现居民区要素高精度提取为目标，通过构建分辨率为2米的光学卫星影像样本库，提出了一种基于纹理增强卷积网络的居民区提取方法。首先，使用灰度级量化方法提取影像的纹理信息，并对提取结果归一化；然后，对U-Net网络进行改进，在网络1×1卷积层之前融合CNN特征和影像纹理信息，并使用融合后的特征继续前向传播计算损失；最后，通过损失反向传播实现网络训练。本专利技术将影像纹理信息融入CNN特征，提高了语义分割结果的精度。实验表明，本专利技术能够有效降低模型推理结果的漏检和虚警，整体性能优于原始U-Net网络。附图说明图1为U-Net网络结构示意图。图2为影像切片及其纹理信息图示意。图中，(a)为影像切片，(b)为纹理信息图。图3为纹理信息增强的U-Net网络结构示意图。图4为“天绘一号”高分辨影像标注示例。图中，(a)为居民区，(b)为标签图像。图5为不同方法训练loss曲线对比。图中，(a)为本专利技术方法，(b)为U-Net。图6为区域1居民区要素提取结果。图中，(a)为区域1，(b)为区域1标签图像，(c)为U-Net，(d)为本专利技术。图7为区域2居民区要素提取结果。图中，(a)为区域2，(b)为区域2标签图像，(c)为U-Net，(d)为本专利技术。具体实施方式下面结合具体实施方式对本专利技术进行详细的说明。U-Net的结构如图1所示，总共包含23层，分为编码-解码两个对称部分。左侧编码部分是一种重复结构，每次重复中都包含2层卷积和1层池化操作，卷积层中卷积核大小均为3×3，激活函数使用ReLU，两个卷积层之后是一个步长为2、大小为2×2的最大值池化层。每一次下采样后网络通道的数量加倍。右侧解码部分中的每一步都首先使用反卷积，每次使用反卷积都将特征通道数量减半，特征图大小加倍。反卷积过后，将反卷积的结果与编码部分中对应步骤的特征图拼接起来。编码部分中的特征图尺寸稍大，需要将其裁切过后进行拼接，每次拼接后对特征图进行2次3×3的卷积。最后一层的卷积核大小为1×1，将64通道的特征图转化为特定深度的图像，具体层数根据分类数量确定，本专利技术需要将像素分成居民区和其本文档来自技高网...

【技术保护点】
1.基于纹理增强卷积网络的居民区要素提取方法，其特征在于：/n包括以下步骤：/n步骤一：使用灰度级量化方法提取影像的纹理信息，并对其进行归一化；/n步骤二：在U-Net网络的1×1卷积层之前融合CNN特征和影像纹理信息，并使用融合后的特征继续前向传播计算损失，通过损失反向传播实现网络训练。/n

【技术特征摘要】
1.基于纹理增强卷积网络的居民区要素提取方法，其特征在于：
包括以下步骤：
步骤一：使用灰度级量化方法提取影像的纹理信息，并对其进行归一化；
步骤二：在U-Net网络的1×1卷积层之前融合CNN特征和影像纹理信息，并使用融合后的特征继续前向传播计算损失，通过损失反向传播实现网络训练。


2.根据权利要求1所述的基于纹理增强卷积网络的居民区要素提取方法，其特征在于：
步骤一具体为：
采用一阶统计分析方法，通过对原始影像灰度级进行量化表征纹理特征，设置图像灰度量化级数为k＝16，然后对纹理信息图做最大值归一化操作。


3.根据权利要求2所述的基于纹理增强卷积网络的居民区要素提取方法，其特征在于：
步骤二具体为：
在步骤一获得的原始影像纹理信息图的基础上进行网络训练，网络训练时每次输入3类数据：原始影像、标签图和纹理信息图，使用原始影像进行原始U-Net网络编码和解码运算，在网络1×1卷积层前将解码得到的CNN特征与纹理信息图连接组合，一并输入1×1层和Sigmoid激活函数层获取分割结果，最后根据标签图像进行损失计算并反向传播训练模型。


4.根据权利要求3所述的基于纹理增强卷积网络的居民区要素提取方法，其特征在于：
U-Net网络编码和解码运算具体包括以下步骤：
U-Net的结构总共包含2...

【专利技术属性】
技术研发人员：刘松林，张丽，高凯，徐道柱，龚辉，秦进春，
申请(专利权)人：中国人民解放军六一五四零部队，
类型：发明
国别省市：陕西;61