MRI图像与深度学习乳腺癌图像处理方法及早筛系统技术方案

本发明专利技术属于计算机视觉领域、医疗器械技术领域，为提出乳腺癌早筛新装置，更好地完成边缘定位，有助于产生更精确的分割结果，进而实现乳腺癌早筛。为此，本发明专利技术采取的技术方案是，MRI图像与深度学习乳腺癌图像处理方法与早筛系统，包括多普勒超声检查和磁共振成像装置和计算机，所述成像装置拍摄的图像输入计算机进行处理，计算机设置有5个功能模块，分别为：乳腺MRI图像预处理模块、数据增强模块、卷积神经网络优化和分类模块、分类图像数据标准化和增强模块以及卷积神经网络优化和分割模块，利用乳腺MRI结果中的4种序列图像，从中提取特征并进行深度融合。本发明专利技术主要应用于MRI图像处理与医疗设备设计制造。

【技术实现步骤摘要】
MRI图像与深度学习乳腺癌图像处理方法及早筛系统
本专利技术属于计算机视觉领域、医疗器械
，涉及特征提取、特征融合、图像分类和图像分割，具体涉及基于多序列MRI图像与深度学习的乳腺癌早筛系统。
技术介绍
本专利技术是基于多序列磁共振成像(MagneticResonanceImaging，MRI)图像与深度学习的乳腺癌早筛系统。乳腺癌已经成为了全世界的一大健康问题，是女性中最普遍的癌症类型，也在一定程度上威胁着男性的健康。肿瘤的早筛和分析是乳腺癌诊断和治疗的关键因素，有助于降低乳腺癌导致的死亡率。目前乳腺癌检测的主要医学方法有乳房X光检查，电子计算机断层扫描(CT)，多普勒超声检查和磁共振成像(MRI)。相比于其他三种检查方法，MRI具有清晰度高、多角度和成像完整等优点，对提高乳腺癌早期检出旅有很大帮助。此外，MRI能够提供更多软组织细节，可以同时检测两侧乳房，有利于尽早开始两侧乳房的治疗。临床检测中，放射科专家会基于不同序列的成像结果来产生诊断结果，而不同序列的成像图像之间的联系不只是简单的线性关系。本专利技术依据深度学习方法对乳腺MRI中的4个序列图像(T1W_TSE，T2W_SPARI，DWI_SSH和DYN_eTHRIVE+C)进行处理并将特征深度融合，产生分类预测结果和分割结果。基于目前深度学习在计算机视觉和医疗图像处理方面的迅速发展和显著成效，本专利技术主要利用卷积神经网络进行研究。本专利技术通过金字塔池化层(Spatialpyramidpooling，SPP)、主成分分析(Principalcomponentsanalysis，PCA)方法和子像素卷积方法对卷积神经网络进行了优化，改进了分类和分割的过程。最后，本专利技术通过将改进的深度学习网络与多模态图像相结合的方式，形成了乳腺癌早筛系统。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出乳腺癌早筛新装置，更好地完成边缘定位，有助于产生更精确的分割结果，进而实现乳腺癌早筛。为此，本专利技术采取的技术方案是，MRI图像与深度学习乳腺癌早筛系统，包括多普勒超声检查和磁共振成像装置和计算机，所述成像装置拍摄的图像输入计算机进行处理，计算机设置有5个功能模块，分别为：乳腺MRI图像预处理模块、数据增强模块、卷积神经网络优化和分类模块、分类图像数据标准化和增强模块以及卷积神经网络优化和分割模块；其中，乳腺MRI图像预处理模块是用来提取T1加权成像T1W(T1-weightedimaging)、T2加权成像T2W(T2-weightedimaging)、弥散加权成像DWI和DYN_eTHRIVE+C序列图像DYN4种模式下的图像有效区域并完成全局对比度归一化处理；数据增强模块是用来扩充数据集；卷积神经网络优化和分类模块是用来优化用于分类的卷积神经网络并进行图像分类；分类图像数据标准化和增强模块是用来对上一步分类所得到的包含肿瘤区域的图像进行标准化和数据增强处理；卷积神经网络优化和分割模块是用来优化用于分割任务的卷积神经网络的采样方法，提高分割准确率，对包含肿瘤的图像进行分割操作。MRI图像与深度学习乳腺癌图像处理方法，步骤如下：步骤一，乳腺MRI图像预处理，采用4种参数序列成像模式：T1W，T2W，DWI和DYN，对4种图像进行筛选，以此作为训练数据，在此基础上对图像进行预处理；步骤二，乳腺MRI图像数据增强，通过数据增强操作来扩充数据集；步骤三，改进用于分类任务的卷积神经网络并进行MRI图像分类预测工作；利用改进的卷积神经网络对从4种成像模式中提取出的特征进行融合处理并对图像产生分类结果：将卷积神经网络的最后一个池化层修改为金字塔池化层，之后紧接特征融合、数据降维、全连接层和分类层，最后根据低维度特征向量对乳腺图像进行分类为有肿瘤和无肿瘤两类；步骤四，对分类后有肿瘤的图像数据进行处理。包括对图像进行标准化和数据增强处理，同时达到减小数据差异和提升数据量的目的，并进行手动分割处理；步骤五，改进用于分割任务的卷积神经网络并进行肿瘤区域分割。步骤一分为两个如下详细步骤：第一，从每张图像中提取与肿瘤相关的有效信息，去除肺部区域，留下经常附着肿瘤的乳腺、乳房组织，膈下区域和胸腔壁。第二，通过全局对比度归一化GCN对其进行归一化，计算每个切片图像的强度平均值，然后从图像的每个像素中减去强度平均值，用i,j表示当前像素位置，则标准化图像的新张量定义为：其中，Mi,j表示一个图像的张量，表示该图像强度的平均值，图像M满足表示图像大小为r×r，r为正整数，通过如下公式计算：步骤二详细步骤如下：第一，将图像分别旋转0°、90°、180°和270°，随后在图像上应用随机水平翻转来扩充数据集，对于没有改进的网络，将图像大小调整为适合不同网络的输入大小；改进后的网络采用预处理和增强后的图像作为输入；第二，根据4种图像的成像顺序和位置将它们分组，并将图像用二分变量标记，即0，1，标签0表示图像中没有肿瘤，标签1则表示图像中有肿瘤。步骤三中，数据降维采用主成分分析PCA方法，将特征统计率FSR定义为PCA保留的主要成分数与所有原始成分之比；对从4种参数序列成像模式中提取出的特征进行处理并分类，过程是在图像经过卷积神经网络得到4个特征向量后，通过计算，tm表示第m张图中的特征，将4个特征向量t1，t2，t3和t4融合为1个特征向量；操作如下：第一，用如下公式计算新的特征t′n：第二，公式(3)中的表示线性变换得到的权重值，和表示权重值，KS、KU和KV都表示线性转换过程，用dk表示新特征的维度，可以通过下面的公式(4)和公式(5)来计算权重值：第三，将产生的4个新的特征向量连接为1个特征向量；第四，用主成分分析方法进行数据降维，再用分类器得到分类结果：有肿瘤图像或无肿瘤图像。步骤四详细步骤如下：第一，对上一步进行了分类后确定有肿瘤的图像进行数据预处理，通过数据的均值和标准差进行标准化，计算每张图的像素平均值和标准差，最后在每个像素减去平均值，再除以标准差；第二，对标准化后的图像进行数据增强操作，与步骤二的第一步相同；第三，对4种图像中乳腺肿瘤或疑似肿瘤的病变区域进行手动分割标注，作为用于分割任务的卷积神经网络的训练数据。步骤五详细步骤如下：分割网络的改进操作包括：在网络的上采样过程使用子像素卷积方法，操作分为以下2个方面：第一，优化用于分割的卷积神经网络的采样过程，用特定的子像素卷积方法实现上采样过程，使用子像素卷积方法可以更精确地定位图像的边缘；第二，将步骤四产生的图像作为输入，传入优化后的卷积神经网络中，对图像进行分割操作，卷积神经网络的输出分割后的图像。本专利技术的特点及有益效果是：本专利技术首先对深度学习网络进行了优化，不需要改变输入图像的大小，对融合后的特征进行降维，有效改进了图像分类过程。在分割网络的上采样过程中使用子像素卷本文档来自技高网...

【技术保护点】
1.一种MRI图像与深度学习乳腺癌早筛系统，其特征是，包括多普勒超声检查和磁共振成像装置和计算机，所述成像装置拍摄的图像输入计算机进行处理，计算机设置有5个功能模块，分别为：乳腺MRI图像预处理模块、数据增强模块、卷积神经网络优化和分类模块、分类图像数据标准化和增强模块以及卷积神经网络优化和分割模块；其中，乳腺MRI图像预处理模块是用来提取T1加权成像T1W(T1-weighted imaging)、T2加权成像T2W(T2-weightedimaging)、弥散加权成像DWI和DYN_eTHRIVE+C序列图像DYN 4种模式下的图像有效区域并完成全局对比度归一化处理；数据增强模块是用来扩充数据集；卷积神经网络优化和分类模块是用来优化用于分类的卷积神经网络并进行图像分类；分类图像数据标准化和增强模块是用来对上一步分类所得到的包含肿瘤区域的图像进行标准化和数据增强处理；卷积神经网络优化和分割模块是用来优化用于分割任务的卷积神经网络的采样方法，提高分割准确率，对包含肿瘤的图像进行分割操作。/n

【技术特征摘要】
1.一种MRI图像与深度学习乳腺癌早筛系统，其特征是，包括多普勒超声检查和磁共振成像装置和计算机，所述成像装置拍摄的图像输入计算机进行处理，计算机设置有5个功能模块，分别为：乳腺MRI图像预处理模块、数据增强模块、卷积神经网络优化和分类模块、分类图像数据标准化和增强模块以及卷积神经网络优化和分割模块；其中，乳腺MRI图像预处理模块是用来提取T1加权成像T1W(T1-weightedimaging)、T2加权成像T2W(T2-weightedimaging)、弥散加权成像DWI和DYN_eTHRIVE+C序列图像DYN4种模式下的图像有效区域并完成全局对比度归一化处理；数据增强模块是用来扩充数据集；卷积神经网络优化和分类模块是用来优化用于分类的卷积神经网络并进行图像分类；分类图像数据标准化和增强模块是用来对上一步分类所得到的包含肿瘤区域的图像进行标准化和数据增强处理；卷积神经网络优化和分割模块是用来优化用于分割任务的卷积神经网络的采样方法，提高分割准确率，对包含肿瘤的图像进行分割操作。


2.一种MRI图像与深度学习乳腺癌图像处理方法，其特征是，步骤如下：
步骤一，乳腺MRI图像预处理，采用4种参数序列成像模式：T1W，T2W，DWI和DYN，对4种图像进行筛选，以此作为训练数据，在此基础上对图像进行预处理；
步骤二，乳腺MRI图像数据增强，通过数据增强操作来扩充数据集；
步骤三，改进用于分类任务的卷积神经网络并进行MRI图像分类预测工作；
利用改进的卷积神经网络对从4种成像模式中提取出的特征进行融合处理并对图像产生分类结果：将卷积神经网络的最后一个池化层修改为金字塔池化层，之后紧接特征融合、数据降维、全连接层和分类层，最后根据低维度特征向量对乳腺图像进行分类为有肿瘤和无肿瘤两类；
步骤四，对分类后有肿瘤的图像数据进行处理。包括对图像进行标准化和数据增强处理，同时达到减小数据差异和提升数据量的目的，并进行手动分割处理；
步骤五，改进用于分割任务的卷积神经网络并进行肿瘤区域分割。


3.如权利要求2所述的MRI图像与深度学习乳腺癌图像处理方法，其特征是，步骤一分为两个如下详细步骤：
第一，从每张图像中提取与肿瘤相关的有效信息，去除肺部区域，留下经常附着肿瘤的乳腺、乳房组织，膈下区域和胸腔壁；
第二，通过全局对比度归一化GCN对其进行归一化，计算每个切片图像的强度平均值，然后从图像的每个像素中减去强度平均值，用i,j表示当前像素位置，则标准化图像的新张量定义为：



其中，Mi,j表示一个图像的张量，表示该图像强度的平均值，图像M满足表示图像大小为r×r，r为正整...

【专利技术属性】
技术研发人员：路文焕，王潇蔓，魏建国，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12