基于改进FasterR-CNN的医学影像脑肿瘤检测方法与系统技术方案

本发明专利技术公开了一种基于改进Faster R

【技术实现步骤摘要】
基于改进Faster R
‑
CNN的医学影像脑肿瘤检测方法与系统


[0001]本专利技术涉及计算机视觉，医学图像处理，机器学习
，具体涉及一种基于改进Faster R
‑
CNN的医学影像脑肿瘤检测方法与系统。

技术介绍

[0002]脑肿瘤是现代人的高发疾病之一，但多数人对其缺乏了解，甚至有大量患者由于没有及时得到诊断和治疗而死亡。脑肿瘤可以划分为良性肿瘤和恶性肿瘤，恶性肿瘤又包括原发性恶性肿瘤和脑转移瘤。其中最常见的是脑转移瘤，良性肿瘤和原发性恶性肿瘤在临床上出现的概率稍小。脑肿瘤一般通过磁共振图像(Magnetic Resonance Imaging,MRI)来诊断，一次扫描结果(scans)能生成脑部组织的3D灰度图像。MRI对脑肿瘤的诊断比计算机断层扫描(Computed Tomography,CT)更为敏感，可发现早期病变，定位也更加准确。但是脑肿瘤通常难以辨别，且MRI的一次扫描结果一般有上百张的二维切片，故医生对单张切片的诊断往往比较困难。
[0003]近年来，深度学习(Deep learning,DL)技术快速发展，其中深度卷积神经网络(Convolutional neural network,CNN)能够有效地捕获图像的特征，已经被广泛地应用到了各种图像处理任务和计算机视觉任务中。在医学图像处理中，通过卷积神经网络可以自动地提取隐含的器官、组织等的特征，从而在医学图像的分类、检测、分割、检索、图像生成和增强等各任务中发挥重要的辅助作用。但是，现有的深度学习目标检测算法，如Faster R
‑
CNN，面向的大多为自然图像。相比于自然图像，磁共振图像中存在病灶与正常部分之间差距不明显、需要考虑多张切片之间的横向连续信息等特点，因此，若直接采用现有的自然图像目标检测模型，在预测结果的连续性上表现不佳，检测结果不够准确。此外，在脑肿瘤自然患者中，不同类型的肿瘤样本数目不均衡，其中良性肿瘤和原发性恶性肿瘤样本较少，导致模型对其检测效果不佳。
[0004]目前的现有技术之一，“一种基于CNN和SVM融合的脑肿瘤检测和分割方法”，该方法将CNN的Softmax分类器用支持向量机(Support Vector Machine，SVM)代替，交叉熵损失用边界函数来代替，构建出脑肿瘤和正常组织的分类器，来进行脑肿瘤的检测。该方法的缺点是网络结构过于简单，没有具体考虑医学影像中病灶区域难以区分、患病与正常数据样本数量不平衡等特点，导致容易出现模型的判别准确率较低、检测位置不准等问题。

技术实现思路

[0005]本专利技术的目的是克服现有方法的不足，提出了基于改进Faster R
‑
CNN的医学影像脑肿瘤检测方法与系统。本专利技术解决的主要问题，一是脑肿瘤自然患者中不同类型的肿瘤样本数目不均衡、磁共振图像中病灶与正常部分之间差距不明显，二是现有的深度学习目标检测算法的模型连贯性差，不能达到医学检测中需要考虑多张切片之间的横向连续信息的技术要求。即如何在肿瘤样本数据不均衡、磁共振图像中病灶与正常部分之间差距不明显、需要考虑多张切片之间的横向连续信息的条件下，使得深度学习目标检测算法的模型
能够更好地把握切片的上下文信息，学习相邻切片间的联系性，从而增强预测结果的连贯性和准确性的问题。
[0006]为了解决上述问题，本专利技术提出了一种基于改进Faster R
‑
CNN的医学影像脑肿瘤检测方法，所述方法包括：
[0007]从磁共振图像数据库中获取磁共振图像数据集；
[0008]通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强；
[0009]构建改进Faster R
‑
CNN深度网络模型，加入图像特征金字塔结构以及卷积门控循环单元(Conv Gate Recurrent Unit，ConvGRU)模块，并修改网络训练时的数据读取方式；
[0010]采用所述经数据增强后得到的数据集训练改进Faster R
‑
CNN模型；
[0011]将需要预测的磁共振图像输入所述训练好的改进Faster R
‑
CNN模型，输出脑肿瘤目标检测结果。
[0012]优选地，所述通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强，具体为：
[0013]找出亮度上与有肿瘤切片最为相近的正常切片序列，有肿瘤的切片记为Query，正常人切片序列记为Normal，具体地，对于Query所属的切片序列，先将其按排列顺序均匀分为10组，分别计算每组的像素亮度的均值和标准差，得到长度为20的亮度值统计向量，计算公式具体如下：
[0014][0015]其中，表示与Query序列相对应的长度为20的亮度值统计向量，
[0016]对数据集中所有无肿瘤的Normal序列，以同样方法分别求出与其相对应的长度为20的统计向量然后计算Normal序列的亮度值统计向量与Query所属序列的亮度值统计向量之间的欧式距离：
[0017][0018]其中，表示与Query序列相对应的长度为20的亮度值统计向量，表示与Normal序列相对应的长度为20的统计向量，
[0019]在所有Normal序列中，其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的，即为亮度上与Query切片最为相近的Normal序列；
[0020]对所述得到的Normal序列进行操作，得到亮度上与有肿瘤切片最为相近的正常切片，记为Answer_pri，具体地，首先通过预训练好的ResNet50模型，对Query以及Normal序列中的每一个切片做特征提取，然后计算v
a
与v
i
之间的余弦相似度，计算公式具体如下：
[0021][0022]其中，v
q
表示对Query做特征提取得到的值，v
i
表示对Normal序列中的每一个切片做特征提取得到的值，i＝1，2，...，n，
[0023]根据相似度从大到小，对Normal序列中的切片进行排序，并选取相似度最高的前10张切片，记为N1，N2，...，N
10
，然后采用RAFT算法分别计算Query到所述切片的光流，记为f1，f2，...，f
10
，然后利用所述光流对所述切片做图像扭转操作，得到扭转后的结果N
′
i
，计算公式具体如下：
[0024]N
′
i
(x
′
i
，y
′
i
)＝N
i
(x
i
，y
i
)
[0025]x
′
i
＝x
i
‑
f
i
(x
i
，y
i
，0)
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Faster R
‑
CNN的医学影像脑肿瘤检测方法，其特征在于，所述方法包括：从磁共振图像数据库中获取磁共振图像数据集；通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强；构建改进Faster R
‑
CNN深度网络模型，加入图像特征金字塔结构以及卷积门控循环单元ConvGRU模块，并修改网络训练时的数据读取方式；采用所述经数据增强后得到的数据集训练改进Faster R
‑
CNN模型；将需要预测的磁共振图像输入所述训练好的改进Faster R
‑
CNN模型，输出脑肿瘤目标检测结果。2.如权利要求1所述的基于改进Faster R
‑
CNN的医学影像脑肿瘤检测方法，其特征在于，所述通过光流法和生成对抗网络，对所述获取的数据集的图像做预处理，进行数据增强，具体为：找出亮度上与有肿瘤切片最为相近的正常切片序列，有肿瘤的切片记为Query，正常人切片序列记为Normal，具体地，对于Query所属的切片序列，先将其按排列顺序均匀分为10组，分别计算每组的像素亮度的均值和标准差，得到长度为20的亮度值统计向量，计算公式具体如下：其中，表示与Query序列相对应的长度为20的亮度值统计向量，对数据集中所有无肿瘤的Normal序列，以同样方法分别求出与其相对应的长度为20的统计向量然后计算Normal序列的亮度值统计向量与Query所属序列的亮度值统计向量之间的欧式距离：其中，表示与Query序列相对应的长度为20的亮度值统计向量，表示与Normal序列相对应的长度为20的统计向量，在所有Normal序列中，其亮度值统计向量与Query所属序列的亮度值统计向量距离最小的，即为亮度上与Query切片最为相近的Normal序列；对所述得到的Normal序列进行操作，得到亮度上与有肿瘤切片最为相近的正常切片，记为Answer_pri，具体地，首先通过预训练好的ResNet50模型，对Query以及Normal序列中的每一个切片做特征提取，然后计算v
q
与v
i
之间的余弦相似度，计算公式具体如下：其中，v
q
表示对Query做特征提取得到的值，v
i
表示对Normal序列中的每一个切片做特征提取得到的值，i＝1,2,
…
,n，根据相似度从大到小，对Normal序列中的切片进行排序，并选取相似度最高的前10张
切片，记为N1,N2,
…
,N
10
，然后采用RAFT算法分别计算Query到所述切片的光流，记为f1,f2,
…
,f
10
，然后利用所述光流对所述切片做图像扭转操作，得到扭转后的结果N
′
i
，计算公式具体如下：N
′
i
(x
′
i
,y
′
i
)＝N
i
(x
i
,y
i
)x
′
i
＝x
i
‑
f
i
(x
i
,y
i
,0)y
′
i
＝y
i
‑
f
i
(x
i
,y
i
,1)其中，N
i
表示选取的前10张切片，N
′
i
表示所述切片扭转后的结果，(x
i
,y
i
)表示N
i
中像素坐标，(x
′
i
，y
′
i
)表示N
′
i
中像素坐标，f
i
表示Query到所述切片的光流，i＝1,2,
…
,10，然后对N
′
i
按Query做直方图匹配，使得N
′
i
与Query之间具有相似的亮度分布，以消除亮度对相似性判断的影响，最后计算N
′
i
与Query之间像素亮度的均方误差，计算公式具体如下：误差最小的N
′
i
即为Answer_pri；在Answer_pri上映射出肿瘤区域，得到初步的假肿瘤切片，记为Answer_warped，具体地，首先计算Query到Answer_pri的光流，记为f1，Query中肿瘤的位置由边界方框标出，利用f1，根据所述图像扭转公式，计算出Query中肿瘤位置的边界方框的四个顶点坐标映射在Answer_pri上的对应坐标，从而确定假肿瘤在Answer_pri上的分布区域，然后计算Answer_pri到Query的光流，记为f2，利用f2，根据所述图像扭转公式，找到假肿瘤分布区域中的每个像素点(i,j)在Query中的对应坐标(i
′
,j
′
)，根据对应坐标的像素值，利用双线性插值法对假肿瘤分布区域内的像素进行初步填充，得到初步填充值Answer_temp，以达到将肿瘤从Query中“移植”到Answer_pri中的效果，计算公式具体如下：x1＝int(i
′
) y1＝int(j
′
)x2＝x
1 y2＝y1+1x3＝x1+1 y3＝y1x4＝x1+1 y4＝y1+1u＝i
′‑
x
1 v＝j
′‑
y1Answer_temp(i,j)＝(1
‑
u)(1
‑
v)
×
int(Query(x1,y1))+(1
‑
u)v
×
int(Query(x2,y2))+u(1
‑
v)
×
int(Query(x3,y3))+uv
×
int(Query(x4,y4))其中，(i,j)表示假肿瘤分布区域中的每个像素点的坐标值，(i
′
,j
′
)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值，最终的填充结果Answer_warped定义为Answer_pri与Answer_temp的平均加权和，以保留Answer_pri中的原有组织部分，计算公式具体如下：Answer_warped(i,j)＝0.5
×
Answer_pri(i,j)+0.5
×
Answer_temp(i,j)其中，(i,j)表示假肿瘤分布区域中的每个像素点的坐标值，(i
′
,j
′
)表示所述假肿瘤分布区域中的每个像素点在Query中的对应坐标值；对Answer_warped做进一步处理得到最后的假肿瘤切片，记为Answer，使其尽可能地与真正有肿瘤的切片相似，具体地，采用生成对抗网络重建图像，以此消除Answer_warped中不自然的部分，网络以Answer_warped作为输入，输出Answer，修改网络的损失函数，包括重
建损失、连贯损失、对抗...

【专利技术属性】
技术研发人员：林格，苏志宏，陈小燕，
申请(专利权)人：广东融谷创新产业园有限公司，
类型：发明
国别省市：