一种重症肿瘤影像识别系统及方法技术方案

本发明专利技术涉及一种重症肿瘤影像识别系统及方法，尤其是一种基于脑肿瘤影像大数据的磁共振图像两阶段多模型自动脑肿瘤诊断系统。本发明专利技术所要解决的技术问题是提供一套基于卷积神经网络的磁共振图像两阶段多模型自动脑肿瘤诊断系统，通过从历史诊断大数据中进行信息挖掘、特征提取和经验学习，用于高准确度的计算机辅助脑图像数据分析，使诊断准确度独立于医生的经验，同时加快诊断速度。

【技术实现步骤摘要】
一种重症肿瘤影像识别系统及方法
本申请涉及一种重症肿瘤影像识别系统及方法，尤其是一种基于大数据的脑肿瘤影像磁共振图像两阶段多模型自动脑肿瘤诊断系统。
技术介绍
脑肿瘤是一种严重的疾病，它是由于大脑内部组织的异常生长而破坏正常的大脑功能。近三十年来，我国每年因脑肿瘤而死亡的人数呈逐步上升趋势。快速、准确的脑肿瘤诊断技术十分必要。以往由内科医生凭经验和肉眼观察的手工诊断方式，准确度因医生的经验而异，并且非常耗时。磁共振成像是一种先进的医学成像技术，它能够提供丰富的有关人体软组织解剖的大量数据信息。利用磁共振图像进行自动脑肿瘤检测的目的是通过分析成像数据，对图像中有无脑肿瘤进行分类。因此，可以将诊断问题转换为图像分类挑战。近年来脑肿瘤的高发性导致产生了大量的磁共振图像数据。因此，利用历史诊断大数据，从大数据中进行有效信息挖掘和特征提取，深度探索和学习历史诊断大数据中的经验，开发实现快速检测和准确定位的自动脑肿瘤诊断系统是至关重要的。通过大数据驱动的机器学习和深度学习方法在计算机辅助脑图像分析、分割、配准和肿瘤组织分类中发挥着核心作用。虽然已有多项研究将深度学习方法应用于脑肿瘤诊断，但尚未有完整基于大数据的肿瘤自动分类、分级和定位系统。此外，在单一诊断系统中集成肿瘤分类分级和定位的精度仍然是一个开放的挑战。在单一系统中，在肿瘤定位之前有脑肿瘤检测阶段会导致正常图像在定位阶段被丢弃。这为自动肿瘤诊断系统的实时部署打开了大门。
技术实现思路
本专利技术所要解决的技术问题是提供一套基于卷积神经网络的磁共振图像两阶段多模型自动脑肿瘤诊断系统，通过从历史诊断大数据中进行信息挖掘、特征提取和经验学习，用于高准确度的计算机辅助脑图像数据分析，将脑肿瘤的有无、脑肿瘤的类别、脑肿瘤的分级等问题转换图像分类问题，利用卷积神经网络对脑肿瘤图像进行分类的同时进行脑胶质瘤术前智能分级，并精准定位脑肿瘤所在区域的位置，为医生提供快速和精准的辅助诊断，使诊断准确度独立于医生的经验，同时加快诊断速度。本专利技术基本思想是将脑肿瘤的诊断转换为磁共振脑成像的分类问题，利用分类卷积神经网络能够通过历史诊断大数据的分析，进而从中提取图像数据的深度特征并进行高准确度分类的优点，将不同类别以及不同级别的脑肿瘤视为不同类别的图像，将历史病例中人工诊断的不同类别的磁共振脑成像数据集进行训练并用于脑肿瘤的分类和胶质肿瘤分级，解决脑肿瘤快速、高准确度的诊断。利用定位卷积神经网络能够对病灶位置进行精准区域定位的优点，对有脑肿瘤的磁共振脑成像进行病灶区域的精准定位，为医生提供快速和准确的诊断辅助。具体包括如下步骤：步骤一：数据集收集和标注，数据集包括：分类数据集和定位数据集，对从历史诊断病例数据中收集的不同类别和不同级别的磁共振脑成像图像分类，作为第一阶段使用的分类数据集。采用图像标注工具Labelimg对有肿瘤的图像进行肿瘤区域标注，每幅图像中肿瘤所在的区域用矩形框标记出来，每幅标注后的图像会对应生成一个XML格式的标注文件，记录矩形框的长、宽以及中心坐标等信息。按8:2的比例将标注后的图像划分为训练集和测试集。将训练集和测试集中的所有脑肿瘤磁共振图像放在同一个文件夹下，将其所有标注文件放在另一个文件夹下，并将每幅图像和相应的标注文件命名相同。将其作为第二阶段使用的定位数据集。步骤二：图像预处理。针对第一阶段的分类数据集，首先，将数据集中的图像分别进行左右翻转、对比度增强、亮度增强，以及分别顺时针、逆时针旋转10度的数据增广，将数据集中的图像数量增广为原来的5倍。其次，将所有图像使用插值的方法缩小为224×224×3的像素尺寸大小，以适应卷积神经网络的输入。最后，按8:2的比例将数据集划分为训练集和测试集。步骤三：建立分类模型。分类模型负责将需要诊断的磁共振脑成像图像输入进行特征提取和数据分析，并进行脑肿瘤类别检测和分级，将分类为脑膜瘤和1-4级脑胶质瘤的图像输入定位模型。本专利技术对图像分类网络SE-ResNet的基本组成结构进行了改进，并采用改进后的模型用于第一阶段的分类任务。改进后的网络模型的基本组成结构见图1。SE-ResNet由一个输入层、4个残差结构组合模块和一个输出层组成。每个残差结构组合模块由若干带注意力机制的残差结构组成，这是模型的基本组成结构。每个组合模块中第一个带注意力机制的残差结构对图像进行降采样以减小图像的空间尺寸，其捷径层用一个步长为2，尺寸为1×1的卷积核进行卷积计算，使得不同大小的跨层特征图能够相加。本专利技术的主要改进为，将SE-ResNet的每个残差结构组合模块中第一个带注意力机制的残差结构的捷径层变为两层计算模式，第一层采用步长为1，尺寸为1×1的卷积核进行卷积计算，接着的第二层采用步长为2，尺寸为2×2的核进行平均池化计算，以解决原模型降采样时信息丢失造成分类准确度下降的问题，改进的结构如图1所示。本专利技术在改进的基础上，采用101层的网络结构，并将其输出层改为6个神经元输出，对应分类的6种类别。模型各层参数见表1。采用深度学习工具库PyTorch搭建改进后的SE-ResNet网络结构。PyTorch是由Facebook公司开源的深度学习张量库，其采用GPU加速神经网络编程计算。利用PyTorch可以搭建出改进后的SE-ResNet网络结构，并且可以选择和设置训练需要的多种超参数组合即优化器类型。步骤四：建立定位模型。定位模型将分类模型检测为有脑肿瘤的图像作为输入，训练好的定位模型可将图像中的脑肿瘤位置用矩形框标记出来，作为诊断依据提供给医生参考，因而具有一定的诊断辅助功能。本专利技术采用开源的卷积神经网络YOLOv3进行病灶定位。YOLOv3是开源的全卷积神经网络，该定位网络具有较高的定位准确度。本专利技术所采用的YOLOv3模型，其主干网络由52层卷积层用于提取模型特征，并将提取到的特征信息进行三次目标定位，分别定位图像中的较小目标、中等大小目标以及较大目标，并输出定位信息。最后根据卷积神经网络输出的定位矩形框的坐标信息，在输入的有脑肿瘤的磁共振脑成像图像上画出相应的定位矩形框，并输出定位后的图像。此时脑肿瘤病灶部位已被系统用矩形框标记出来，供医生诊断参考。本专利技术采用的YOLOv3模型主干网络各层参数见表2，模型结构见图2。步骤五：模型训练与保存。采用合适的超参数和优化器对两个模型进行训练，每当所有训练集参与一次训练后采用测试集对模型进行评估，在经过足够多次的迭代训练使得模型损失非常小时，保存模型。保存的两个模型将用于本专利技术设计的诊断系统中，对输入的磁共振脑成像进行分类，并将检测为含有脑肿瘤的图像进行脑肿瘤区域精准定位。系统使用过程中将不再训练两个模型，直接使用已训练好并保存的模型进行脑肿瘤快速诊断。随着诊断病例数据的增加，为更好的应用历史病例数据，以从中进行数据分析和特征学习，进一步提高系统的诊断准确度和定位精度，可在病历数据增加至一定数量后，将其磁共振脑成像图像合并入训练数据集，在原有模型基础上继续执行训练步骤，并保存模型。步骤六：系统测试。本文档来自技高网...

【技术保护点】
1.一种重症肿瘤影像识别系统，其特征在于：包括大数据收集模块、数据分类模块、数据标注模块、图像预处理模块、分类模型模块、定位模型模块、模型训练与保存模块和系统测试模块，数据分类模块用于对从历史诊断病例数据中收集的不同类别和不同级别的磁共振脑成像图像分类，作为第一阶段使用的分类数据集；数据标注模块对有肿瘤的图像进行肿瘤区域标注。/n

【技术特征摘要】
1.一种重症肿瘤影像识别系统，其特征在于：包括大数据收集模块、数据分类模块、数据标注模块、图像预处理模块、分类模型模块、定位模型模块、模型训练与保存模块和系统测试模块，数据分类模块用于对从历史诊断病例数据中收集的不同类别和不同级别的磁共振脑成像图像分类，作为第一阶段使用的分类数据集；数据标注模块对有肿瘤的图像进行肿瘤区域标注。


2.根据权利要求1所述的一种重症肿瘤影像识别系统，其特征在于：数据标注模块采用图像标注工具Labelimg对有肿瘤的图像进行肿瘤区域标注，每幅图像中肿瘤所在的区域用矩形框标记出来，每幅标注后的图像会对应生成一个XML格式的标注文件，记录矩形框的长、宽以及中心坐标等信息，按8:2的比例将标注后的图像划分为训练集和测试集，将训练集和测试集中的所有脑肿瘤磁共振图像放在同一个文件夹下，将其所有标注文件放在另一个文件夹下，并将每幅图像和相应的标注文件命名相同，将其作为第二阶段使用的定位数据集。


3.根据权利要求1-2任一项所述的一种重症肿瘤影像识别系统，其特征在于：图像预处理模块将用于第一阶段的定位数据集中的图像分别进行左右翻转、对比度增强、亮度增强，以及分别顺时针、逆时针旋转10度的数据增广，将数据集中的图像数量增广为原来的5倍，其次将所有图像使用插值的方法缩小为224×224×3的像素尺寸大小，以适应卷积神经网络的输入，最后，按8:2的比例将数据集划分为训练集和测试集。


4.根据权利要求1-3任一项所述的一种重症肿瘤影像识别系统，其特征在于：分类模型模块负责将需要诊断的磁共振脑成像图像输入进行特征提取和数据分析，并进行脑肿瘤类别检测和分级，将分类为脑膜瘤和1-4级脑胶质瘤的图像输入定位模型，对图像分类网络SE-ResNet的基本组成结构进行了改进，并采用改进后的模型用于第一阶段的分类任务。


5.根据权利要求1-4任一项所述的一种重症肿瘤影像识别系统，其特征在于：定位模型模块将分类模型检测为有脑肿瘤的图像作为输入，训练好的定位模型可将图像中的脑肿瘤位置用矩形框标记出来，作为诊断依据提供给医生参考，因而具有一定的诊断辅助功能，采用开源的卷积神经网络YOLOv3进行病灶定位。


6.一种重症肿瘤影像识别方法，其特征在于：步骤一：数据集收集和标注，数据集包括：分类...

【专利技术属性】
技术研发人员：刘秀，吉克夫格，吴孝文，
申请(专利权)人：四川大学华西医院，
类型：发明
国别省市：四川;51