一种多模态乳腺磁共振图像分类方法及系统技术方案

本发明专利技术公开了一种多模态乳腺磁共振图像分类方法及系统，涉及医疗及图像处理技术领域，该方法将获取的待分类磁共振图像和待分类参数图输出到目标分类网络中以获取病灶类别的预测概率，根据病灶类别的预测概率确定病灶类别；目标分类网络是根据训练样本和标定卷积神经网络训练得到的；训练样本包括输入数据和标签；输入数据包括第一图像和与第一图像对应的第一参数图像；第一图像为带有原发病灶区域的三维动态增强磁共振图像；标定卷积神经网络的结构包括第一注意力网络、第二注意力网络和融合网络。本发明专利技术通过将注意力机制、多尺度特征和多模态信息三者结合，使得神经网络学习到更多有助于特征提取的有效信息，提高了病灶类别判定的准确性。别判定的准确性。别判定的准确性。

【技术实现步骤摘要】
一种多模态乳腺磁共振图像分类方法及系统


[0001]本专利技术涉及医疗及图像处理
，特别是涉及一种多模态乳腺磁共振图像分类方法及系统。

技术介绍

[0002]近年来，深度学习方法，特别是卷积神经网络(Convolutional Neural Network，CNN)在医学图像领域应用越来越广泛，在医学图像分类、重建、分割等方面发挥着重要的作用。
[0003]在CNN中加入注意力机制能够使网络在学习过程中更加关注有用信息而忽略无用信息，从而有效提高模型的分类性能。CNN层数的加深过程，是特征提取从低层次到高层次的语义特征提取过程，但是随着网络的加深，每一层都会丢失一些信息，到最后一层就会丢掉比较多的信息。为了解决这一问题，引入了“多尺度特征融合”的概念，其基本思想是将特征提取到的不同尺度的特征融合到一起，融合高、低层次的信息，更好的完成分类任务。常用的融合方式有多个尺度预测结果的平均值融合和多个尺度特征的拼接。但是，这些方法中较差的特征可能会影响最终的预测效果。

技术实现思路

[0004]本专利技术的目的是提供一种多模态乳腺磁共振图像分类方法及系统，通过注意力机制、多尺度特征和多模态信息三者结合，以使得神经网络学习到更多适应于特征提取的有效信息，提高目标检测的准确率。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种多模态乳腺磁共振图像分类方法，包括：
[0007]获取待分类磁共振图像；
[0008]获取所述待分类磁共振图像对应的参数图，以得到待分类参数图；
[0009]将所述待分类磁共振图像和所述待分类参数图输出到目标分类网络中以获取病灶类别的预测概率；
[0010]根据所述病灶类别的预测概率确定病灶类别；
[0011]所述目标分类网络是根据训练样本和标定卷积神经网络训练得到的；所述训练样本包括输入数据和标签；所述输入数据包括第一图像和与所述第一图像对应的第一参数图像；所述第一图像为带有原发病灶区域的三维动态增强磁共振图像；所述标签为所述第一图像中原发病灶区域的病灶类别；所述标定卷积神经网络的结构为双输入单输出的网络结构；所述标定卷积神经网络的结构包括第一注意力网络、第二注意力网络和融合网络；
[0012]所述第一注意力网络的输入端用于输入所述第一图像和所述标签；
[0013]所述第一注意力网络的第一输出端用于输出第一特征图；所述第一特征图是利用注意力机制对所述第一图像进行特征提取后确定的；
[0014]所述第一注意力网络的第二输出端用于输出第三特征图；所述第三特征图是利用
注意力机制和多尺度融合算法对所述第一图像进行处理后得到的；
[0015]所述第二注意力网络的输入端用于输入所述第一参数图像和所述标签；
[0016]所述第二注意力网络的第一输出端用于输出第二特征图；所述第二特征图是利用注意力机制对所述第一参数图像进行特征提取后确定的；
[0017]所述第二注意力网络的第二输出端用于输出第四特征图；所述第四特征图是利用注意力机制和多尺度融合算法对所述第一参数图像进行处理后得到的；
[0018]所述融合网络的第一输入端用于输入第五特征图；所述第五特征图是所述第一特征图和所述第二特征图进行拼接后得到的；
[0019]所述融合网络的第二输入端用于输入所述第三特征图；
[0020]所述融合网络的第三输入端用于输入所述第四特征图；
[0021]所述融合网络的输出端用于输出病灶类别的预测概率。
[0022]可选地，所述第一注意力网络包括第一融合模块以及多个第一残差注意力模块；
[0023]多个所述第一残差注意力模块的连接方式为串联连接；末端第一残差注意力模块的输出端为所述第一注意力网络的第一输出端，首端第一残差注意力模块的输入端为所述第一注意力网络的输入端；
[0024]所述第一融合模块的输入端与第一标定残差注意力模块连接；所述第一标定残差注意力模块为任意所述第一残差注意力模块，所述第一标定残差注意力模块的数量大于或者等于2；所述第一融合模块的输出端为所述第一注意力网络的第二输出端。
[0025]可选地，所述第二注意力网络包括第二融合模块以及多个第二残差注意力模块；
[0026]多个所述第二残差注意力模块的连接方式为串联连接；末端第二残差注意力模块的输出端为所述第二注意力网络的第一输出端，首端第二残差注意力模块的输入端为所述第二注意力网络的输入端；
[0027]所述第二融合模块的输入端与第二标定残差注意力模块连接；所述第二标定残差注意力模块为任意所述第二残差注意力模块，所述第二标定残差注意力模块的数量大于或者等于2；所述第二融合模块的输出端为所述第二注意力网络的第二输出端。
[0028]可选地，多个所述第一残差注意力模块的结构相同；
[0029]其中，所述第一残差注意力模块的数据处理过程为：
[0030]依次经过3*3*3的卷积层、GN层、Dropout层和整流线性单元对输入图像进行特征提取，以得到第一特征子图；
[0031]依次经过1*1*1的卷积层、GN层和Dropout层对所述输入图像进行特征提取，以得到第二特征子图；
[0032]依次经过3*3*3的卷积层、GN层和Dropout层对所述第一特征子图进行特征提取，以得到第三特征子图；
[0033]通过注意力模块对所述第三特征子图进行特征提取，以得到第四特征子图；
[0034]将所述第二特征子图与所述第四特征子图进行跳跃连接并相加，以得到输出图像。
[0035]可选地，所述注意力模块的数据处理过程为：
[0036]通过通道注意力模块对所述第三特征子图进行特征提取，以得到通道注意力特征图；
[0037]将所述通道注意力特征图与所述第三特征子图做element
‑
wise的乘法操作，得到中间特征子图；
[0038]通过空间注意力模块对所述中间特征子图进行特征提取，以得到空间注意力特征图；
[0039]对所述空间注意力特征图与所述中间特征子图做element
‑
wise的乘法操作，以得到第四特征子图。
[0040]可选地，所述第五特征图的确定过程，具体包括：
[0041]将所述第一特征图和所述第二特征图通过通道串联方式进行拼接，以得到第五特征图。
[0042]可选地，所述训练样本的构建过程，具体包括：
[0043]获取多张原始图像；所述原始图像包括原始三维动态增强磁共振图像和与所述原始三维动态增强磁共振图像对应的原始参数图像；
[0044]对多张所述原始三维动态增强磁共振图像进行预处理，以得到第一图像；所述预处理包括重采样处理、裁剪处理、标准化处理和数据增强处理；
[0045]对多张所述原始参数图像进行预处理，以得到第一参数图像；
[0046]根据所述第一图像确定标签信息。
[0047]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态乳腺磁共振图像分类方法，其特征在于，所述多模态乳腺磁共振图像分类方法包括：获取待分类磁共振图像；获取所述待分类磁共振图像对应的参数图，以得到待分类参数图；将所述待分类磁共振图像和所述待分类参数图输出到目标分类网络中以获取病灶类别的预测概率；根据所述病灶类别的预测概率确定病灶类别；所述目标分类网络是根据训练样本和标定卷积神经网络训练得到的；所述训练样本包括输入数据和标签；所述输入数据包括第一图像和与所述第一图像对应的第一参数图像；所述第一图像为带有原发病灶区域的三维动态增强磁共振图像；所述标签为所述第一图像中原发病灶区域的病灶类别；所述标定卷积神经网络的结构为双输入单输出的网络结构；所述标定卷积神经网络的结构包括第一注意力网络、第二注意力网络和融合网络；所述第一注意力网络的输入端用于输入所述第一图像和所述标签；所述第一注意力网络的第一输出端用于输出第一特征图；所述第一特征图是利用注意力机制对所述第一图像进行特征提取后确定的；所述第一注意力网络的第二输出端用于输出第三特征图；所述第三特征图是利用注意力机制和多尺度融合算法对所述第一图像进行处理后得到的；所述第二注意力网络的输入端用于输入所述第一参数图像和所述标签；所述第二注意力网络的第一输出端用于输出第二特征图；所述第二特征图是利用注意力机制对所述第一参数图像进行特征提取后确定的；所述第二注意力网络的第二输出端用于输出第四特征图；所述第四特征图是利用注意力机制和多尺度融合算法对所述第一参数图像进行处理后得到的；所述融合网络的第一输入端用于输入第五特征图；所述第五特征图是所述第一特征图和所述第二特征图进行拼接后得到的；所述融合网络的第二输入端用于输入所述第三特征图；所述融合网络的第三输入端用于输入所述第四特征图；所述融合网络的输出端用于输出病灶类别的预测概率。2.根据权利要求1所述的多模态乳腺磁共振图像分类方法，其特征在于，所述第一注意力网络包括第一融合模块以及多个第一残差注意力模块；多个所述第一残差注意力模块的连接方式为串联连接；末端第一残差注意力模块的输出端为所述第一注意力网络的第一输出端，首端第一残差注意力模块的输入端为所述第一注意力网络的输入端；所述第一融合模块的输入端与第一标定残差注意力模块连接；所述第一标定残差注意力模块为任意所述第一残差注意力模块，所述第一标定残差注意力模块的数量大于或者等于2；所述第一融合模块的输出端为所述第一注意力网络的第二输出端。3.根据权利要求1所述的多模态乳腺磁共振图像分类方法，其特征在于，所述第二注意力网络包括第二融合模块以及多个第二残差注意力模块；多个所述第二残差注意力模块的连接方式为串联连接；末端第二残差注意力模块的输出端为所述第二注意力网络的第一输出端，首端第二残差注意力模块的输入端为所述第二
注意力网络的输入端；所述第二融合模块的输入端与第二标定残差注意力模块连接；所述第二标定残差注意力模块为任意所述第二残差注意力模块，所述第二标定残差注意力模块的数量大于或者等于2；所述第二融合模块的输出端为所述第二注意力网络的第二输出端。4.根据权利要求2所述的多模态乳腺磁共振图像分类方法，其特征在于，多个所述第一残差注意力模块的结构相同；其中，所述第一残差注意力模块的数据处理过程为：依次经过3*3*3的卷积层、GN层、Dropout层和整流线性单元对输入图像进行特征提取，以得到第一特征子图；依次经过1*1*1的卷积层、GN层和Dropout层对所述输入图像进行特征提取，以得到第二特征子图；依次经过3*3*3的卷积层、GN层和Dropout层对所述第一特征子图进行特征提取，以得到第三特征子图；通过注意力模块对所述第三特征子图进行特征提取，以得到第四特征子图；将所述第二特征子图与所述第四特征子图进行跳跃连接并相加，以得到输出图像。5.根据权利要求4所述的多模态乳腺磁共振图像分类方法，其特征在于，所述注意力模块的数据处理过程为：通过通道注意力模块对所述第三特征子图进行特征提取，以得到通道注意力特征图；将所述通道注意力特征图与所述第三特征子图做element
‑
wise的乘法操作，得到中间特征子图；通过空...

【专利技术属性】
技术研发人员：毛宁，张海程，谢海柱，林凡，高婧，
申请(专利权)人：烟台毓璜顶医院，
类型：发明
国别省市：