【技术实现步骤摘要】
本专利技术涉及影像语义分割术，特别涉及一种多模态土地覆盖的分类方法、装置、计算机设备及介质。
技术介绍
1、基于遥感影像进行土地覆盖分类是指按照预定义的语义集合进行像元级分类。因此，其又称遥感影像语义分割。近年来，由于异构遥感影像具有相关和互补的信息，多模态土地覆盖分类受到越来越多的关注。光学影像可以提供光谱、颜色和纹理的详细描述，但容易受到云、雾等复杂环境的影响。相比之下，sar影像可以实现全天、全天候的主动观测，并捕获更丰富的几何信息。近年来，利用光学影像和sar影像进行土地覆盖分类已成为研究热点。
2、多模态融合的效果对土地覆盖分类的结果有重要影响。现有的融合策略可大致可分为三类：数据融合、决策融合和特征融合。数据融合将输入影像合并以产生更高质量的影像，其依赖于手工特征或者生成式模型。决策融合利用一定规则将不同模态的学习结果相结合，如投票策略概率集成。特征融合首先分别提取每个模态的特征，然后进行更灵活的处理。随着深度学习的发展，深度空间中的特征融合策略已经得到了广泛的研究，使土地覆盖分类的性能得到了显著的改进。
3、在基于深度学习的多模态分类方法中，通道连接和元素加和是相对简单的融合策略。然而，这不能充分有效地整合多模态知识，且不可避免地引入冗余信息。尽管各种融合策略层出不穷，但仍有两个问题有待解决。如图10所示，(1)缺乏深度融合机制，大多数方法通常设计一层或两层的融合模块，这被认为是浅层融合，仅限于领域级。(2)强调判别性却忽视多样性，现有方法旨在提高多模态特征的类别可分性。然而，多样性同样重要
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种多模态土地覆盖的分类方法，以解决现有技术中缺乏深度融合、缺乏多样性的技术问题。该方法包括：
2、构建第一主干网络和第二主干网络，构建多模态级联专家森林，通过第一主干网络、第二主干网络和多模态级联专家森林构建多模态特征融合模型，其中，第一主干网络和第二主干网络均包括多个相互连接的网络块，多模态级联专家森林包括多个相互连接的多模态专家森林；
3、将sar影像数据输入至第一主干网络，输出第一特征s，将光学影像数据输入至第二主干网络，输出第二特征o，将第一特征s和第二特征o输入至多模态级联专家森林的各个多模态专家森林，输出第三特征z；
4、为多模态特征融合模型设置优化目标，对第三特征z进行尺寸调整、通道连接和卷积处理后，生成融合后特征，判断融合后特征是否满足优化目标，若满足优化目标，根据融合后特征对土地覆盖进行分类。
5、本专利技术实施例还提供了一种多模态土地覆盖的分类装置，以解决现有技术中缺乏深度融合、缺乏多样性的技术问题。该装置包括：
6、模型构建模块，用于构建第一主干网络和第二主干网络，构建多模态级联专家森林，通过第一主干网络、第二主干网络和多模态级联专家森林构建多模态特征融合模型，其中，第一主干网络和第二主干网络均包括多个相互连接的网络块，多模态级联专家森林包括多个相互连接的多模态专家森林；
7、特征融合模块，用于将sar影像数据输入至第一主干网络，输出第一特征s，将光学影像数据输入至第二主干网络，输出第二特征o，将第一特征s和第二特征o输入至多模态级联专家森林的各个多模态专家森林，输出第三特征z；
8、土地覆盖分类模块，用于为多模态特征融合模型设置优化目标，对第三特征z进行尺寸调整、通道连接和卷积处理后，生成融合后特征，判断融合后特征是否满足优化目标，若满足优化目标，根据融合后特征对土地覆盖进行分类。
9、本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的多模态土地覆盖的分类方法，以解决现有技术中缺乏深度融合、缺乏多样性的技术问题。
10、本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的多模态土地覆盖的分类方法的计算机程序，以解决现有技术中缺乏深度融合、缺乏多样性的技术问题。
11、与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：
12、使用了级联多模态专家森林的特征融合方法，使融合方法具有更深入、更广泛的融合能力，提高了土地覆盖分类的性能。
本文档来自技高网...【技术保护点】
1.一种多模态土地覆盖的分类方法，其特征在于，包括：
2.如权利要求1所述的多模态土地覆盖的分类方法，其特征在于，构建多模态级联专家森林，包括：
3.如权利要求1所述的多模态土地覆盖的分类方法，其特征在于，将SAR影像数据输入至所述第一主干网络，输出第一特征s，将光学影像数据输入至第二主干网络，输出第二特征o，将所述第一特征s和所述第二特征o输入至所述多模态级联专家森林的各个所述多模态专家森林，输出第三特征z，包括：
4.如权利要求3所述的多模态土地覆盖的分类方法，其特征在于，将所述第一特征s和所述第二特征o输入至所述多模态专家树，输出所述多模态专家树对应的学习后多模态特征，包括：
5.如权利要求3所述的多模态土地覆盖的分类方法，其特征在于，通过专家交换策略将所述多模态专家深林中的一个所述多模态专家树Ti，j中任意一层l输出的特征替换为所述多模态专家深林中的另一个所述多模态专家树中任意一层l输出的特征，包括：
6.如权利要求3所述的多模态土地覆盖的分类方法，其特征在于，通过专家交换策略将所述多模态专家深林中的一个所述多模
7.如权利要求1至6中任意一项所述的多模态土地覆盖的分类方法，其特征在于，为所述多模态特征融合模型设置优化目标，包括：
8.一种多模态土地覆盖的分类装置，其特征在于，包括：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的多模态土地覆盖的分类方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的多模态土地覆盖的分类方法的计算机程序。
...【技术特征摘要】
1.一种多模态土地覆盖的分类方法，其特征在于，包括：
2.如权利要求1所述的多模态土地覆盖的分类方法，其特征在于，构建多模态级联专家森林，包括：
3.如权利要求1所述的多模态土地覆盖的分类方法，其特征在于，将sar影像数据输入至所述第一主干网络，输出第一特征s，将光学影像数据输入至第二主干网络，输出第二特征o，将所述第一特征s和所述第二特征o输入至所述多模态级联专家森林的各个所述多模态专家森林，输出第三特征z，包括：
4.如权利要求3所述的多模态土地覆盖的分类方法，其特征在于，将所述第一特征s和所述第二特征o输入至所述多模态专家树，输出所述多模态专家树对应的学习后多模态特征，包括：
5.如权利要求3所述的多模态土地覆盖的分类方法，其特征在于，通过专家交换策略将所述多模态专家深林中的一个所述多模态专家树ti，j中任意一层l输出的特征替换为所述多模态专家深林中的另一个所述多模态...
【专利技术属性】
技术研发人员：高奎亮，王光霞，游雄，雷娟，左溪冰，赫志韦，刘建湘，刘成龙，
申请(专利权)人：中国人民解放军网络空间部队信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。