一种多源信息融合增强的建筑物分割方法及系统技术方案

本申请公开了一种多源信息融合增强的建筑物分割方法及系统，其中方法包括：将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得双流网络分别提取光谱特征图像和高程信息图像的特征；将双流网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块对光谱特征和高程特征进行特征融合和去噪；将完成融合的光谱特征和高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码。从而解决了现有技术无法有效整合数字表面模型图像中的信息，导致分割效果较差的问题。分割效果较差的问题。分割效果较差的问题。

【技术实现步骤摘要】
一种多源信息融合增强的建筑物分割方法及系统


[0001]本申请涉及建筑物语义分割
，尤其涉及一种多源信息融合增强的建筑物分割方法及系统。

技术介绍

[0002]屋顶太阳能发电是分布式光伏发电的一种，通常把太阳能电池板装在建筑物的屋顶，不需要占用额外的土地资源。将建筑物屋顶光伏电池板发出的电就地消纳或直接接入附近电网，不仅降低了碳排放，还帮助用户节省了电费。建筑物屋顶面积的大小直接影响太阳能的装机容量，所以，高精度的识别建筑物屋顶面积对分布式太阳能光伏发电非常重要。
[0003]传统建筑物语义分割任务通常采用单模态输入，深度学习在单模态遥感图像的语义分割方面取得了显著的成果。然而，由于RGB图像缺乏丰富多样的信息，特别是在具有挑战性的场景下，一些待识别物体与背景的光谱特征相似时，单模态方法无法取得令人满意的结果。近年来的研究表明，在数字表面模型(DSM)图像中使用高程信息可以帮助分割模型克服待识别物体和背景光谱特征相似问题。但是，在引入高程信息时也会带来一定的噪声，传统方法只是简单地将两种模态的特征图相加，并在通道方向上进行拼接，而忽略了基于同一类别区域的特征融合往往具有相似特征的事实。所以，有效整合数字表面模型图像中的信息对提高分割效果至关重要。

技术实现思路

[0004]本申请提供了一种多源信息融合增强的建筑物分割方法及系统，用于解决现有技术无法有效整合数字表面模型图像中的信息，导致分割效果较差的问题。
[0005]有鉴于此，本申请第一方面提供了一种多源信息融合增强的建筑物分割方法，所述方法包括：将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得所述建筑物分割模型中的双流网络分别提取光谱特征图像和高程信息图像的特征；将所述双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块对所述光谱特征和所述高程特征进行特征融合和去噪；将完成融合的所述光谱特征和所述高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码。
[0006]可选地，所述特征融合模块对所述光谱特征和所述高程特征进行特征融合和去噪，具体包括：S21、特征融合模块将所述光谱特征和所述高程特征与对应图像不同比例、不同类别的标签图进行点积运算；S22、利用标签映射的类别掩码聚合通道上与类别掩码匹配的光谱特征和高程特
征，将每个类别掩码聚合的特征映射按通道方向进行拼接；S23、对经过处理的所述光谱特征和所述高程特征之间进行逐元素求和操作，从而完成特征融合和去噪。
[0007]可选地，步骤S21
‑
步骤S23的具体过程为：；式中，i=1，2，3，4为特征提取网络第i个Transformer模块输出特征，M为标签图，j为标签图中不同的类别，C
cat
为通道拼接操作，Ri和Di分别为第i个Transformer模块提取的光谱特征和高程特征，Fi表示Ri和Di融合后的特征。
[0008]可选地，所述使用金字塔损失函数对模型进行训练，具体过程包括：；式中，C为交叉熵损失函数，Yi为每一次上采样输出预测值，G为对应图像标签值，i表示编码器特征提取的不同阶段，j为标签图中的不同类别，Pj表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，L表示预测值与真实值的损失。
[0009]可选地，所述建筑物分割模型的训练过程具体为：获取高分辨率卫星图像和对应的高程信息图像从而构建数据集，并将所述数据集划分为训练集、验证集和测试集；根据高分辨率卫星图像和对应的高程信息图像，构建多源信息融合增强的建筑物分割模型；通过所述训练集对所述建筑物分割模型进行训练后，通过所述验证集对所述建筑物分割模型进行测试，从而得到训练好的建筑物分割模型。
[0010]可选地，所述通过所述训练集对所述建筑物分割模型进行训练后，通过所述验证集对所述建筑物分割模型进行测试，从而得到训练好的所述建筑物分割模型，之后包括：通过训练好的所述建筑物分割模型对待检测的遥感图像进行建筑物的分割。
[0011]本申请第二方面提供一种多源信息融合增强的建筑物分割系统，所述系统包括：提取单元，用于将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得所述建筑物分割模型中的双流网络分别提取光谱特征图像和高程信息图像的特征；融合单元，用于将所述双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块对所述光谱特征和所述高程特征进行特征融合和去噪；分割单元，用于将完成融合的所述光谱特征和所述高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码。
[0012]可选地，所述融合单元，具体用于：
将所述双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块将所述光谱特征和所述高程特征与对应图像不同比例、不同类别的标签图进行点积运算；利用标签映射的类别掩码聚合通道上与类别掩码匹配的光谱特征和高程特征，将每个类别掩码聚合的特征映射按通道方向进行拼接；对经过处理的所述光谱特征和所述高程特征之间进行逐元素求和操作，从而完成特征融合和去噪。
[0013]可选地，所述融合单元的融合过程表示为：；式中，i=1，2，3，4为特征提取网络第i个Transformer模块输出特征，M为标签图，j为标签图中不同的类别，C
cat
为通道拼接操作，Ri和Di分别为第i个Transformer模块提取的光谱特征和高程特征，Fi表示Ri和Di融合后的特征。
[0014]可选地，所述使用金字塔损失函数对模型进行训练，具体过程包括：；式中，C为交叉熵损失函数，Yi为每一次上采样输出预测值，G为对应图像标签值，i表示编码器特征提取的不同阶段，j为标签图中的不同类别，Pj表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，L表示预测值与真实值的损失。
[0015]从以上技术方案可以看出，本申请具有以下优点：（1）本申请提供的一种多源信息增强的建筑物分割方法，所提出的多模态输入，克服了单模态分割时光谱特征相似的情况。
[0016]（2）提出高效的特征融合模块，避免了在引入高程信息特征的同时带来一定的冗余信息，有效的融合同一类别在不同通道、不同模态间的特征。
[0017]（3）提出金字塔损失函数，对每一次上采样的特征图进行损失计算，对每一层的输出进行优化，重点关注特征在不同尺度下的特征信息。为了克服图像中类别不平衡的问题，本专利技术在交叉熵损失函数前加了一个系数（1
‑
Pj），Pj表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，当类别的像素值越少时，损失函数反向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源信息融合增强的建筑物分割方法，其特征在于，包括：将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得所述建筑物分割模型中的双流网络分别提取光谱特征图像和高程信息图像的特征；将所述双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块对所述光谱特征和所述高程特征进行特征融合和去噪；将完成融合的所述光谱特征和所述高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码。2.根据权利要求1所述的多源信息融合增强的建筑物分割方法，其特征在于，所述特征融合模块对所述光谱特征和所述高程特征进行特征融合和去噪，具体包括：S21、特征融合模块将所述光谱特征和所述高程特征与对应图像不同比例、不同类别的标签图进行点积运算；S22、利用标签映射的类别掩码聚合通道上与类别掩码匹配的光谱特征和高程特征，将每个类别掩码聚合的特征映射按通道方向进行拼接；S23、对经过处理的所述光谱特征和所述高程特征之间进行逐元素求和操作，从而完成特征融合和去噪。3.根据权利要求2所述的多源信息融合增强的建筑物分割方法，其特征在于，步骤S21
‑
步骤S23的具体过程为：；式中，i=1，2，3，4为特征提取网络第i个Transformer模块输出特征，M为标签图，j为标签图中不同的类别，C
cat
为通道拼接操作，Ri和Di分别为第i个Transformer模块提取的光谱特征和高程特征，Fi为Ri和Di融合后的特征。4.根据权利要求3所述的多源信息融合增强的建筑物分割方法，其特征在于，所述使用金字塔损失函数对模型进行训练，具体过程包括：；式中，C为交叉熵损失函数，Yi为每一次上采样输出预测值，G为对应图像标签值，i表示编码器特征提取的不同阶段，j为标签图中的不同类别，Pj表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，L表示预测值与真实值的损失。5.根据权利要求1所述的多源信息融合增强的建筑物分割方法，其特征在于，所述建筑物分割模型的训练过程具体为：获取高分辨率卫星图像和对应的高程信息图像从而构建数据集，并将所述数据集划分为训练集、验证集和测试集；根据高分辨率卫星图像和对应的高程信息图像，构建多源信息融合增强的建筑物分割模型；通过所述训练集对所述建筑物分割模型进行训练后，通过所述验证集对所述建筑物分<...

【专利技术属性】
技术研发人员：王海峰，徐达艺，李玲，刘睿，罗宗杰，林海生，阮世栋，戴乔旭，钟俊琛，李源腾，吴信福，李启养，杨金昊，袁浩亮，彭显刚，
申请(专利权)人：广东电网有限责任公司湛江供电局，
类型：发明
国别省市：