一种受脑启发的全局-局部双通道图像分类方法及系统技术方案

本发明专利技术提出了一种受脑启发的全局

【技术实现步骤摘要】
一种受脑启发的全局
‑
局部双通道图像分类方法及系统


[0001]本专利技术涉及人工智能
，具体而言，涉及一种受脑启发的全局
‑
局部双通道图像分类方法及系统。

技术介绍

[0002]深度卷积神经网络已经在计算机视觉、自然语言处理、语音识别等领域广泛应用，是理解图像内容的最佳学习算法之一，在图像分类、语义分割、目标检测、检索等相关任务中表现出了出色的性能。
[0003]深度卷积神经网络强大的学习能力在于使用了多个特征提取阶段，其表征能力的显著提高主要通过体系结构的创新实现。随着使用层块作为结构单元的想法的流行，网络体系结构上的创新主要聚焦于处理单元的重组和新块的设计。谷歌提出拆分、转换、合并的创新概念后，第一次引出了层内分支的概念，允许在不同空间尺度上提取特征，使得多分支拓扑结构成为网络体系结构创新的重要思路。ResNet增加快捷连接构成双分支的残差模块，快捷分支帮助传播训练过程中的信息，大大减轻训练难度。ResNeXt使用组卷积在每个构建单元中聚合多个残差转换。输入特征映射在通道维数上转换为若干组，由多个分支分别处理。Inception网络通过堆叠Inception模块来构建架构，每个模块聚合多个卷积层的分支，允许灵活地组合各种操作来代表不同模式的特征。体系结构上的创新与硬件的支持，允许构建越来越深的网络，模型能够扩展到更大型、更复杂的问题上。
[0004]然而，当网络到达一定深度，识别性能会随着计算能力的显著增加而饱和，现有深度卷积神经网络性能的提升遇到了瓶颈。而且CNN仍然面临着一些未解决的问题。(1)最近的研究发现，经过大规模图像数据集(如ImageNet)训练的CNN更加偏向提取图像的纹理特征。更具体地说，当CNN应用于图像识别时，局部纹理特征可能会对全局物体形状起主导作用，这可能会导致纹理复杂的物体出现误分类。这种纹理偏执问题可能是由于CNN使用一组小卷积滤波器密集地提取局部特征，这些滤波器倾向于适应局部纹理模式，而不是全局物体形状信息。(2)CNN的另一个普遍问题是语义混淆问题。CNN模型学习到的不同特征映射通道可能会聚焦于输入图像中不同的局部部分(或局部语义)，从而通过不同特征图通道捕获的局部语义的竞争获得最终的图像识别结果。由于缺乏在局部语义中捕获全局结构或上下文的能力，某些局部语义可能会支配其他语义，并可能导致误分类结果。这些问题对模型的鲁棒性与泛化能力的提升有所影响。

技术实现思路

[0005]本专利技术的目的在于提供一种受脑启发的全局
‑
局部双通道图像分类方法及系统，用以改善现有技术中现有深度卷积神经网络分类模型缺乏在局部语义中捕获全局结构或上下文的能力，某些局部语义可能会支配其他语义，并可能导致误分类结果的问题。
[0006]第一方面，本申请实施例提供一种受脑启发的全局
‑
局部双通道图像分类方法，包括以下步骤：
[0007]获取并将待分类的图像集划分为训练集和测试集；
[0008]选择一个CNN模型，以其构建单元作为双通道模型的局部通道基本模块，并对输入特征进行局部细节信息提取，得到具有局部信息的特征表示；
[0009]选择Transformer模型，以其编码层组件作为双通道模型的全局通道基本模块，并对输入特征进行全局拓扑相关性信息提取，得到具有全局信息的特征表示；
[0010]将双通道模型的局部通道基本模块与双通道模型的全局通道基本模块作为并行双通道，并分别连接到调制器，形成双通道构建单元，通过所述调制器融合所述双通道的输出特征，得到双通道模块的输出特征；
[0011]将多个所述双通道构建单元，按照CNN模型的层次架构进行堆叠，得到全局
‑
局部双通道图像分类模型；
[0012]采用所述训练集训练所述全局
‑
局部双通道图像分类模型，得到训练好的全局
‑
局部双通道图像分类模型；
[0013]采用训练好的全局
‑
局部双通道图像分类模型，对所述测试集进行分类，得到图像分类结果。
[0014]基于第一方面，在本专利技术的一些实施例中，对输入特征进行全局拓扑相关性信息提取，得到具有全局信息的特征表示，包括以下步骤：
[0015]将所述输入特征映射转换为N个一维Token；
[0016]将所述N个一维Token生成K组全局拓扑表示；
[0017]将所述K组全局拓扑表示的N个输出Token转换为多维输出特征映射，得到具有全局信息的特征表示。
[0018]基于第一方面，在本专利技术的一些实施例中，所述通过所述调制器融合所述双通道的输出特征，得到双通道模块的输出特征，包括以下步骤：
[0019]所述调制器通过门控机制和以可学习的方式，将所述具有全局信息的特征表示与所述具有局部信息的特征表示融合，以生成双通道模块的输出特征。
[0020]基于第一方面，在本专利技术的一些实施例中，将所述具有全局信息的特征表示与所述具有局部信息的特征表示融合，以生成双通道模块的输出特征，包括以下步骤：
[0021]所述调制器通过门控机制调制双通道的输出特征，得到双通道模块的输出特征，所述双通道模块的输出特征的表达式为：其中σ(
·
)为sigmoid激活函数，为第l层的具有全局信息的特征表示，表示为第l层的具有局部信息的特征表示，Y
l
为第l层的双通道模块的输出特征。
[0022]基于第一方面，在本专利技术的一些实施例中，所述调制器以可学习的方式，将所述具有全局信息的特征表示与所述具有局部信息的特征表示融合，以生成双通道模块的输出特征，包括以下步骤：
[0023]所述调制器采用加和的融合方式，利用可学习参数λ动态学习所述双通道的特征间的比例关系，得到双通道模块的输出特征，所述得到双通道模块的输出特征的表达式为：其中为ReLU激活函数，为第l层的具有全局信息的特征表示，表示为第l层的具有局部信息的特征表示，Y
l
为第l层的双通道模块的输出特征，λ为动态学习所述双通道的特征间的比例关系。
[0024]基于第一方面，在本专利技术的一些实施例中，所述双通道构建单元中的局部通道基本模块由N
L
个CNN模型构建单元堆叠组成，所述双通道构建单元中的全局通道基本模块由N
G
个Transformer模型的编码层组件堆叠组成。
[0025]第二方面，本申请实施例提供一种受脑启发的全局
‑
局部双通道图像分类系统，包括：
[0026]待分类的图像集划分模块，用于获取并将待分类的图像集划分为训练集和测试集；
[0027]局部通路模块，用于选择一个CNN模型，以其构建单元作为双通道模型的局部通道基本模块，并对输入特征进行局部细节信息提取，得到具有局部信息的特征表示；
[0028]全局通路模块，用于选择Transformer模型，以其编码层组件作为双通道模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种受脑启发的全局
‑
局部双通道图像分类方法，其特征在于，包括以下步骤：获取并将待分类的图像集划分为训练集和测试集；选择一个CNN模型，以其构建单元作为双通道模型的局部通道基本模块，并对输入特征进行局部细节信息提取，得到具有局部信息的特征表示；选择Transformer模型，以其编码层组件作为双通道模型的全局通道基本模块，并对输入特征进行全局拓扑相关性信息提取，得到具有全局信息的特征表示；将双通道模型的局部通道基本模块与双通道模型的全局通道基本模块作为并行双通道，并分别连接到调制器，形成双通道构建单元，通过所述调制器融合所述双通道的输出特征，得到双通道模块的输出特征；将多个所述双通道构建单元，按照CNN模型的层次架构进行堆叠，得到全局
‑
局部双通道图像分类模型；采用所述训练集训练所述全局
‑
局部双通道图像分类模型，得到训练好的全局
‑
局部双通道图像分类模型；采用训练好的全局
‑
局部双通道图像分类模型，对所述测试集进行分类，得到图像分类结果。2.根据权利要求1所述的受脑启发的全局
‑
局部双通道图像分类方法，其特征在于，对输入特征进行全局拓扑相关性信息提取，得到具有全局信息的特征表示，包括以下步骤：将所述输入特征映射转换为N个一维Token；将所述N个一维Token生成K组全局拓扑表示；将所述K组全局拓扑表示的N个输出Token转换为多维输出特征映射，得到具有全局信息的特征表示。3.根据权利要求1所述的受脑启发的全局
‑
局部双通道图像分类方法，其特征在于，所述通过所述调制器融合所述双通道的输出特征，得到双通道模块的输出特征，包括以下步骤：所述调制器通过门控机制和以可学习的方式，将所述具有全局信息的特征表示与所述具有局部信息的特征表示融合，以生成双通道模块的输出特征。4.根据权利要求3所述的受脑启发的全局
‑
局部双通道图像分类方法，其特征在于，将所述具有全局信息的特征表示与所述具有局部信息的特征表示融合，以生成双通道模块的输出特征，包括以下步骤：所述调制器通过门控机制调制双通道的输出特征，得到双通道模块的输出特征，所述双通道模块的输出特征的表达式为：其中σ(
·
)为sigmoid激活函数，为第l层的具有全局信息的特征表示，表示为第l层的具有局部信息的特征表示，Y
l
为第l层的双通道模块的输出特征。5.根据权利要求3所述的受脑启发的全局
‑
局部双通道图像分类方法，其特征在于...

【专利技术属性】
技术研发人员：董松林，尚苗，王长鑫，龚怡宏，张玥，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：