一种基于GAN模型根据遥感影像生成电子地图的方法、系统技术方案

本发明专利技术公开了一种基于GAN模型根据遥感影像生成电子地图的方法及系统。该方法及系统改进了GAN模型的生成器架构和损失函数，并提出了针对生成电子地图颜色渲染和道路识别的适应性解决方案。所述GAN模型的生成器架构由三部分组成：下采样层、残差块、上采样层，包含6个残差块和2个跳远连接。模型损失函数除了包含自适应感知损失和自适应对抗损失，还包含用于优化生成电子地图的颜色渲染和道路生成的损失项。此外，本发明专利技术还使用特定地物要素的二值图通道控制颜色渲染。结果表明：本发明专利技术公开的方法及系统生成电子地图的质量无论在直观视觉还是在经典评估指标的评估下，都超越了现有的图片翻译模型，像素级翻译精确度提高40％，FID评估值降低了38％。

【技术实现步骤摘要】
一种基于GAN模型根据遥感影像生成电子地图的方法、系统
本专利技术属于地理科学领域，具体涉及一种根据遥感影像生成电子地图的方法、系统及电子装置。
技术介绍
图片翻译指输入领域A的图片，经过处理转换，输出对应领域B中的图片。计算机视觉领域的很多问题都可以归结于图片翻译，例如超分问题可以看成是从低分辨率图片到高分辨率图片的转换，图片色彩化可以看成是单通道的灰度图与多通道彩色图的转换。虽然卷积神经网络在解决绘画艺术类的图片翻译任务中取得了非常好的效果，但却存在生成图片质量低、损失函数设计复杂等问题。直到GAN(生成对抗网络)网络模型的出现，在图片翻译任务中提出了一种新的方法，GAN通过训练鉴别器自动学习损失函数较好地解决了卷积神经网络存在的问题并生成了质量更高的图片。近年来基于GAN的图片翻译模型有很多，例如：pix2pix基于CGAN改进提出，生成器不再从随机噪声生成数据，而是从给定的图片读入，这一工作是后续许多基于GAN的图片翻译模型的基础；CycleGAN由两个生成器和两个鉴别器构成，并在原先GAN的损失函数基础上添加了一个循环限制，解决了在没有成对数据集情况下的图片翻译模型训练问题；VAE+GAN的模型进一步通过添加共享隐空间的设置也解决了这个问题；pix2pixHD通过使用全局生成网络和局部促进网络两个生成器，可以根据语义分割图生成分辨率高达2048*1024的彩色图；TextureGAN通过引入局部纹理损失和局部内容损失实现了对生成图片的纹理控制。目前，pix2pix和CycleGAN作为通用的图片翻译框架，可直接应用到地图生成任务，但生成的电子地图并不能准确识别并渲染林地、水域、道路等地物要素，同时存在纹理模糊、质量不高等问题。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术存在纹理模糊、质量不高等问题，提供一种基于mapGAN从电子地图生成的具体场景出发建立模型，采用了多项针对性的优化措施，以求提高生成地图的准确性和美观性。本专利技术解决其技术问题所采用的技术方案是：构造一种基于GAN模型根据遥感影像生成电子地图的方法，包括以下步骤：S1、构建GAN-生成对抗网络模型，所述GAN网络模型包括生成器与判别器；所述判别器用于将所述生成器生成的电子地图，与目标地图样本进行比较判别；其中：生成器包括采用多层卷积来降低特征矩阵宽度和高度的下采样层、M个残差块和采用多层卷积且利用反卷积技术来提高特征矩阵宽度和高度的上采样层；所述判别器采用大小为70*70的感受野分块对生成器生成的电子地图进行判断，输出一个代表各块判别结果的矩阵；S2、获取包括若干张遥感影像的训练数据集，将训练数据集输入到步骤S1构建的GAN模型进行网络训练；其中，GAN模型的输入通道包括遥感影像的RGB通道，以及N个代表不同地物要素的二值图通道，每张二值图均使用0-1编码；N>1；在训练过程中，为促进GAN模型学习利用N个二值图通道信息，构建第一损失项来判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异，所述第一损失项定义为：式中，i代表第i个地物要素，和分别代表生成器生成的电子地图和目标电子地图中针对i要素提取的二值图，为目标电子地图中i要素占有的像素总数，λ1为第一损失项的权重系数；S3、将待处理的遥感影像输入到训练好的GAN模型，得到对应的目标电子地图。本专利技术公开的一种基于GAN模型根据遥感影像生成电子地图的系统，包括以下模块：生成对抗网络模型构建模块，用于构建GAN-生成对抗网络模型，所述GAN网络模型包括生成器与判别器；所述判别器用于将所述生成器生成的电子地图，与目标地图样本进行比较判别；其中：生成器包括采用多层卷积来降低特征矩阵宽度和高度的下采样层、M个残差块和采用多层卷积且利用反卷积技术来提高特征矩阵宽度和高度的上采样层；所述判别器采用感受野分块对生成器生成的电子地图进行判断，输出一个代表各块判别结果的矩阵；模型训练模块，用于获取包括若干张遥感影像的训练数据集，将训练数据集输入到生成对抗网络模型构建模块构建的GAN模型进行网络训练；其中，GAN模型的输入通道包括遥感影像的RGB通道，以及N个代表不同地物要素的二值图通道，每张二值图均使用0-1编码；N>1；所述模型训练模块中包括第一损失项构建模块，用于在训练过程中，为促进GAN模型学习利用N个二值图通道信息，构建由下述公式定义的第一损失项，来判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异：式中，i代表第i个地物要素，和分别代表生成器生成的电子地图和目标电子地图中针对i要素提取的二值图，为目标电子地图中i要素占有的像素总数，λ1为第一损失项的权重系数；目标电子地图生成模块，用于将待处理的遥感影像输入到训练好的GAN模型，得到对应的目标电子地图。实施本专利技术的一种基于GAN模型根据遥感影像生成电子地图的方法、系统，具有以下有益效果：1、在GAN模型的生成器中增加了6个残差块，增加的残差块可以在不产生梯度传播问题的前提下，通过适当增加网络深度提高模型的性能；2、模型损失函数除了包含自适应感知损失和自适应对抗损失，还包含用于优化生成电子地图的颜色渲染和道路生成的损失项。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是pix2pix和mapGAN模型在Facades数据集上部分测试结果图；图2是mapGAN模型在照片场景环境从白天转换成夜晚的图片翻译任务中部分测试图。图3是本专利技术公开的一种基于GAN模型根据遥感影像生成电子地图的方法步骤流程图；图4是GAN模型生成器架构图；图5是因美观性而将绿地渲染成方形的一对训练数据；图6是本专利技术公开的一种基于GAN模型根据遥感影像生成电子地图的方法模型结构图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。1、实验条件说明：本专利技术的地图翻译任务在1096对遥感-电子数据集进行训练，并在1042对遥感-电子数据集上测试，数据集来源为Google地图上的卫星和电子地图瓦片，图片尺寸为600*600像素。本专利技术所实施的实验在载有1块NVIDAM40的GPU、4块InterXeonPlatinum8163@2.5GHz的CPU、RAM：30GiB的工作站上进行。2、电子地图生成质量分析本实施例使用改进的GAN模型(以下称为mapGAN模型)进行瓦片地图生成翻务，并在相同测试集上与pix2pix，CycleGAN模型对比生成地图的质量。训练阶段，3个二值图通道使用OpenCV库来获取。其中，表1展示了不同评价指标下，mapGAN与其它模型地图生成质量的评估结果，其中，用于计算电子地图真实特征分布的样本数据集包含2000张电子地图，用于计算模型生成电本文档来自技高网...

【技术保护点】
1.一种基于GAN模型根据遥感影像生成电子地图的方法，其特征在于，包括以下步骤：/nS1、构建GAN-生成对抗网络模型，所述GAN网络模型包括生成器与判别器；所述判别器用于将所述生成器生成的电子地图，与目标地图样本进行比较判别；其中：/n生成器包括采用多层卷积来降低特征矩阵宽度和高度的下采样层、M个残差块和采用多层卷积且利用反卷积技术来提高特征矩阵宽度和高度的上采样层；/n所述判别器包括感受野分块来对生成器生成的电子地图进行判断，输出一个代表判别结果的矩阵；/nS2、获取包括若干张遥感影像的训练数据集，将训练数据集输入到步骤S1构建的GAN模型进行网络训练；其中，GAN模型的输入通道包括遥感影像的RGB通道，以及N个代表不同地物要素的二值图通道，每张二值图均使用0-1编码；N>1；/n在训练过程中，为促进GAN模型学习利用N个二值图通道信息，构建由公式(1)定义的第一损失项，来判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异：/n

【技术特征摘要】
1.一种基于GAN模型根据遥感影像生成电子地图的方法，其特征在于，包括以下步骤：
S1、构建GAN-生成对抗网络模型，所述GAN网络模型包括生成器与判别器；所述判别器用于将所述生成器生成的电子地图，与目标地图样本进行比较判别；其中：
生成器包括采用多层卷积来降低特征矩阵宽度和高度的下采样层、M个残差块和采用多层卷积且利用反卷积技术来提高特征矩阵宽度和高度的上采样层；
所述判别器包括感受野分块来对生成器生成的电子地图进行判断，输出一个代表判别结果的矩阵；
S2、获取包括若干张遥感影像的训练数据集，将训练数据集输入到步骤S1构建的GAN模型进行网络训练；其中，GAN模型的输入通道包括遥感影像的RGB通道，以及N个代表不同地物要素的二值图通道，每张二值图均使用0-1编码；N>1；
在训练过程中，为促进GAN模型学习利用N个二值图通道信息，构建由公式(1)定义的第一损失项，来判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异：



式中，i代表第i个地物要素，和分别代表生成器生成的电子地图和目标电子地图中针对i要素提取的二值图，为目标电子地图中i要素占有的像素总数，λ1为第一损失项的权重系数；
S3、将待处理的遥感影像输入到训练好的GAN模型，得到对应的目标电子地图。


2.根据权利要求1所述的根据遥感影像生成电子地图的方法，其特征在于，步骤S1中，下采样层，残差块和上采样层均3个3*3的卷积核。


3.根据权利要求2所述的根据遥感影像生成电子地图的方法，其特征在于，步骤S1中，在生成器的下采样层和上采样层之间增加两个跳远连接，从而在上采样阶段构建电子地图时使用下采样层提取到的特征，实现跨层信息传递。


4.根据权利要求3所述的根据遥感影像生成电子地图的方法，其特征在于，步骤S1中，所述生成器包括6个残差块，每个残差块由两个卷积层构成。


5.根据权利要求4所述的根据遥感影像生成电子地图的方法，其特征在于，步骤S2中，GAN模型的输入通道包括分别代表林地、水域和道路信息的3个二值图通道；
构建由公式(2)定义的第二损失项，增加生成的电子地图在道路连续性和平滑性方面的限制：



式中，和分别代表生成器生成的电子地图和目标电子地图中针对道路要素提取的二值图，为目标电子地图中道路占据的像素总数，λ2为该损失项的权重系数。


6.根据权利要求5所述的根据遥感影像生成电子地图的方法，其特征在于，所述GAN模型的损失函数还包含自适应感知损失项Lp和自适应对抗损失项Ladv；结合公式(1)-(2)，所述GAN模型最终的损失函数由公式(3)定义为：
L(D)＝minLadv(D)
L(G)＝min(Ladv(G)+Lcolor+Lroad+Lp)；(3)
式中，L(D)代表判别器的损失函数，L(G)代表生成器的损失函数；
所述自适应对抗损失项Ladv由公式(4)-(5)定义为：






式中，Ladv(D)指判别器的自适应对抗损失函数，Ladv(G)指生成器的自适应对抗损失函数，L1为L1损失函数；λ6和λ7代表对应损失项的权重系数；x代表目标电子地图，c代表生成器输入中所有的二值图通道，y代表输入到GAN模型的遥感影像，p_data(y)和p_data(x)分别代表y和x服从的概率分布；G(y,c)表示生成器以y和c为输入生成的电子地图，D(G(y,c),c,y)表示判别器以G(y,c)、c、y为输入进一步输出的判别概率；D(x,c,y)表示判别器以x、c、y为输入进一步输出的判别概率；E(*)为对“*”求均值。


7.根据权利要求6所述的根据遥感影像生成电子地图的方法，其特征在于，所述自适应感知损失项Lp定义为：Lp＝Lf_d+Lf_vgg+Ls，其中：
Lf_d代表判别器的特征损失，Lf_vgg代表生成器中采用vgg-19模型进行特征提取和匹配构造的特征损失，Ls代表利用生成电子地图和目标电子地图构造的生成器风格损失项，上述各个损失项的数学表达由公式(6)-(8)定义为：






Ls＝λ5(Gram(s)-Gram(x))2；(8)
式中，λ3、λ4、λ5代表各个损失项的权重系数；t代表网络层个数，nt代表第t个网络层的特征；D代表判别器，s代表生成的电子地图，x代表目标电子地图，c代表生成器输入中所有的二值图通道；Dt(*)代表判别器以“*”为输入在第t层提取到的特征；V代表在生成器中采用的vgg-19模型，Vt(*)表示vgg-19模型以“*”为输入提取到的图片内容...

【专利技术属性】
技术研发人员：陈占龙，李静涛，王润，孙晨星，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42