医学图像分类方法、装置、设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，提供一种医学图像分类方法、装置、设备及存储介质，方法包括：将待分类医学图像输入Ghost模块；对Ghost模块输出的医学特征图进行维度变换；将维度变换后的医学特征图输入transformer模块；transformer模块均包括平均池化层；平均层化层用于对输入transformer模块的医学特征图进行平均池化；利用transformer模块输出的医学特征图对待分类医学图像进行分类。相比于现有方法，本发明专利技术实施例降低了对设备硬件的要求且医学图像的分类效果会更好。医学图像的分类效果会更好。医学图像的分类效果会更好。

【技术实现步骤摘要】
医学图像分类方法、装置、设备及存储介质


[0001]本申请涉及医疗科技
，尤其涉及一种医学图像分类方法、装置、设备及存储介质。

技术介绍

[0002]医学图像是指通过医学仪器扫描人体、人体某个部位、人体组织等所形成的图像。例如，通过CT机扫描所得的CT图像，或通过MRI设备扫描所得的MRI图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是病理图等等。在医学领域，不同病征的内在异质性可在医学图像中体现，如人体某个部位的外观(如形状)存在不同程度的差异，因此医学图像可作为一种医疗判断手段或参考因素，用于辅助临床诊断。
[0003]然而，目前一些医学图像分类推理设备配置低。受限于硬件资源以及计算量的限制，导致目前应用于其上的仅仅只能采用基于CNN网络(Convolut ionalNeura l Network，卷积神经网络)或者仅仅基于ViT网络(Vis ion Transformer，视觉转换器)实现，然而，仅仅利用CNN或ViT实现医学图像分类的效果不好。

技术实现思路

[0004]针对上述技术问题，本申请的目的在于提供一种医学图像分类方法、装置、设备及存储介质，旨在解决受限于硬件资源以及计算量的限制，导致目前仅能基于CNN网络或ViT网络实现医学图像分类，分类效果不好的技术问题。
[0005]第一方面，本专利技术实施例提供一种医学图像分类方法，包括：
[0006]将待分类医学图像输入第一Ghost模块，得到所述第一Ghost模块输出的医学特征图；
[0007]将所述第一Ghost模块输出的医学特征图输入第二Ghost模块，得到所述第二Ghost模块输出的医学特征图；
[0008]对所述第二Ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；
[0009]将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述第一transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；
[0010]将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层；所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化；
[0011]利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。
[0012]进一步的，所述将待分类医学图像输入第一Ghost模块，得到所述第一Ghost模块
输出的医学特征图，包括：
[0013]对待分类医学图像进行N次卷积，得到第一医学特征图；其中，N为正整数；
[0014]采用不同尺度的卷积核对所述第一医学特征图进行卷积，得到不同尺度的第二医学特征图；
[0015]将不同尺度的所述第二医学特征图进行拼接，得到第一拼接医学特征图；
[0016]将所述第一拼接医学特征图作为所述第一Ghost模块输出的医学特征图。
[0017]进一步的，所述将所述第一Ghost模块输出的医学特征图输入第二Ghost模块，得到所述第二Ghost模块输出的医学特征图，包括：
[0018]对所述第一Ghost模块输出的医学特征图进行M次卷积，得到第三医学特征图；其中，M为正整数；
[0019]采用不同尺度的卷积核对所述第三医学特征图进行卷积，得到不同尺度的第四医学特征图；
[0020]将不同尺度的所述第四医学特征图进行拼接，得到第二拼接医学特征图；
[0021]将所述第二拼接医学特征图作为所述第二Ghost模块输出的医学特征图。
[0022]进一步的，设所述第二Ghost模块输出的医学特征图的维度为[bs，h，w，c]，所述对所述第二Ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图，包括：
[0023]将所述第二Ghost模块输出的医学特征图的维度[bs，h，w，c]变换为[bs，h*w，c]；其中，bs为输入第二Ghost模块的图像的数目，h为医学特征图的宽，w为医学特征图的高，c为特征的通道数。
[0024]进一步的，所述将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图，包括：
[0025]通过所述第一transformer模块中的平均池化层对所述维度变换后的医学特征图进行平均池化，得到第一平均池化医学特征图；
[0026]基于所述第一平均池化医学特征图，通过多头注意力机制生成所述第一transformer模块输出的医学特征图。
[0027]进一步的，所述将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图，包括：
[0028]通过所述第二transformer模块中的平均池化层对所述第一transformer模块输出的医学特征图进行平均池化，得到第二平均池化医学特征图；
[0029]基于所述第二平均池化医学特征图，通过多头注意力机制生成所述第二transformer模块输出的医学特征图。
[0030]进一步的，所述利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类，包括：
[0031]将所述[bs，h*w，c]中的h*w维度取平均，得到维度为[bs，c]的医学特征图；
[0032]将所述[bs，c]的医学特征图输入全连接层进行分类。
[0033]第二方面，本专利技术实施例提供一种医学图像分类装置，包括：
[0034]第一输入模块，用于将待分类医学图像输入第一Ghost模块，得到所述第一Ghost模块输出的医学特征图；
[0035]第二输入模块，用于将所述第一Ghost模块输出的医学特征图输入第二Ghost模块，得到所述第二Ghost模块输出的医学特征图；
[0036]维度变换模块，用于对所述第二Ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；
[0037]第三输入模块，用于将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；
[0038]第四输入模块，用于将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层，所述第二transformer模块的平均池化层用于对所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学图像分类方法，其特征在于，包括：将待分类医学图像输入第一Ghost模块，得到所述第一Ghost模块输出的医学特征图；将所述第一Ghost模块输出的医学特征图输入第二Ghost模块，得到所述第二Ghost模块输出的医学特征图；对所述第二Ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图；将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一transformer模块输出的医学特征图；其中，所述第一transformer模块包括平均池化层，所述平均池化层用于对所述维度变换后的医学特征图进行平均池化；将所述第一transformer模块输出的医学特征图输入第二transformer模块，得到第二transformer模块输出的医学特征图；其中，所述第二transformer模块包括平均池化层；所述第二transformer模块的平均池化层用于对所述第一transformer模块输出的医学特征图进行平均池化；利用所述第二transformer模块输出的医学特征图对所述待分类医学图像进行分类。2.根据权利要求1所述的医学图像分类方法，其特征在于，所述将待分类医学图像输入第一Ghost模块，得到所述第一Ghost模块输出的医学特征图，包括：对待分类医学图像进行N次卷积，得到第一医学特征图；其中，N为正整数；采用不同尺度的卷积核对所述第一医学特征图进行卷积，得到不同尺度的第二医学特征图；将不同尺度的所述第二医学特征图进行拼接，得到第一拼接医学特征图；将所述第一拼接医学特征图作为所述第一Ghost模块输出的医学特征图。3.根据权利要求1所述的医学图像分类方法，其特征在于，所述将所述第一Ghost模块输出的医学特征图输入第二Ghost模块，得到所述第二Ghost模块输出的医学特征图，包括：对所述第一Ghost模块输出的医学特征图进行M次卷积，得到第三医学特征图；其中，M为正整数；采用不同尺度的卷积核对所述第三医学特征图进行卷积，得到不同尺度的第四医学特征图；将不同尺度的所述第四医学特征图进行拼接，得到第二拼接医学特征图；将所述第二拼接医学特征图作为所述第二Ghost模块输出的医学特征图。4.根据权利要求1所述的医学图像分类方法，其特征在于，设所述第二Ghost模块输出的医学特征图的维度为[bs，h，w，c]，所述对所述第二Ghost模块输出的医学特征图进行维度变换，得到维度变换后的医学特征图，包括：将所述第二Ghost模块输出的医学特征图的维度[bs，h，w，c]变换为[bs，h*w，c]；其中，bs为输入第二Ghost模块的图像的数目，h为医学特征图的宽，w为医学特征图的高，c为特征的通道数。5.根据权利要求1所述的医学图像分类方法，其特征在于，所述将所述维度变换后的医学特征图输入第一transformer模块，得到所述第一tra...

【专利技术属性】
技术研发人员：唐小初，周涵涛，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：