一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统技术方案

本发明专利技术涉及一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统，包括，预处理模块；分割标注模块；构建数据库模块，从已有的病人脑部MR三维图像中挑选出不同类型的图像数据，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关键帧、矢状面非核心区图像、矢状面水肿区图像、矢状面关键帧、黑色背景图像；每个类型的图像数据被划分到同一组别，其中三组，包括轴向关键帧、轴向关键帧和矢状面关键帧，分别为三个方向上的关键帧，其他七个组别进行对比训练；VGG孪生网络构建及训练模块；构建VGG孪生网络，将预处理后的数据库十组图像划分训练集和测试集，采用十折交叉验证法进行训练；关键帧提取模块。

【技术实现步骤摘要】
一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统
本专利技术涉及医学图像处理领域，具体设计一种基于VGG孪生网络对脑部MR图像中的脑胶质瘤区域进行关键帧抓取的计算机系统。
技术介绍
脑肿瘤是由于细胞的异常发育所致，这种细胞以不受控制的方式增殖。中国脑肿瘤发病率和死亡率位居世界第一。脑胶质瘤是颅内最常见的恶性肿瘤，约占颅内肿瘤的40％～50％。脑胶质瘤恶性程度大，对人类的生命健康有着巨大的威胁。根据细胞种类的不同可以将脑胶质瘤分为星形细胞瘤、胶质母细胞瘤、少枝胶质细胞瘤等多种类型。不同种类细胞瘤的治疗和预后各不相同，及时准确的对脑胶质瘤区域定位，识别对病人术后效果有巨大的影响。而对脑胶质瘤的诊断受医生资历以及诊疗状态的影响，并且在拖动图像判断中医生可能会忽略部分微小的病变点位。能及时准确的将脑胶质瘤切片图像进行关键帧的提取，能有效助力医生对病人的诊疗过程。经过专利申请人检索，目前与医学图像关键帧提取有关的国内专利技术专利主要集中在基于图像分类来进行关键帧的提取工作。李雷来等通过计算待分类图像和原型图像之间的欧氏距离来确定待分类图像的图像类别[1]，钱林学等通过计算结节图像外接矩形对角线距离来确定关键帧[2]，陆唯佳等通过采集显微镜视野下的医学影像视频流，提取视频帧中的单帧图像特征映射出包含关键帧信息的诊断分类结果[3]。相对而言基于图像分类的关键帧提取检测方向较为单一，鲁棒性较差。参考文献：[1]李雷来，王健宗，瞿晓阳，专利名称：医学图像分类方法、装置、设备及存储介质，申请号：202011009811.X[2]钱林学，卜云芸，庞浩，刘涛，专利名称：一种医学超声图像辅助诊断系统自动更新的方法及系统，申请号：202010029036.8[3]陆唯佳，姚建华，韩骁，周昵昀，专利名称：医学影像分析方法、装置、计算机设备和存储介质，申请号：201910176877.9
技术实现思路
本专利技术提供了一种脑部序列MR图像的关键帧智能提取系统。本专利技术能基于VGG孪生网络进行脑胶质瘤关键帧的智能提取，具有良好的准确性和鲁棒性。本专利技术的技术方案如下：一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统，包括，预处理模块，其作用是对脑部MR图像进行颅骨剥离、线性配准、空间分辨率重新采样预处理，以减少无效图像信息对图像处理的影响。分割标注模块，其作用是对预处理完的脑部MR图像，进行图像的分割标注，将感兴趣区域的三个区域：水肿区、坏死区及增强区，分别用不同像素值进行标注，并添加索引图像，分别用不同颜色代表脑胶质瘤的水肿区、坏死区和增强区，以实现标分割标注的可视化；构建数据库模块，从已有的病人脑部MR三维图像中挑选出不同类型的图像数据，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关键帧、矢状面非核心区图像、矢状面水肿区图像、矢状面关键帧、黑色背景图像；每个类型的图像数据被划分到同一组别；数据库图像一共十组，其中三组，包括轴向关键帧、轴向关键帧和矢状面关键帧，分别为三个方向上的关键帧，其他七个组别进行对比训练；VGG孪生网络构建及训练模块构建VGG孪生网络，将预处理后的数据库十组图像划分训练集和测试集，采用十折交叉验证法进行训练，VGG孪生网络由输入层、卷积层、最大池化层、全连接层和输出层组成；训练方式为每次任意选取任意两组图像进行训练，如果图像来源组别相同，则给予网络输入标签为1的信息；如果图像来源组别不同，则给予网络输入标签为0的信息；首先将预处理后的任意两组图像进行resize处理，输入初始网络权重，通过孪生神经网络的卷积层和池化层进行对两组图像的特征提取，获取到统一尺度下的不同图像数据的特征信息，将特征信息一维化，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出图像数据相似度数值，利用标签信息和图像数据相似度数值来计算交叉熵损失函数来进行反向传播更新权重信息，直到得到预期的loss值停止训练；关键帧提取模块对于新的图像，将其预处理并进行对脑肿瘤区域的分割标注后，与同一方向的关键帧图像输入VGG孪生网络模型进行图像数据进行特征提取，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出此图像与关键帧图像数据相似度数值，在与同一方向的n幅关键帧图像进行相似度比较时，如果任一次相似度数值结果小于0.5，即排除此图像为此方向上的图像的关键帧，否则，将此新的图像归类为同一方向上的关键帧，实现关键帧的智能抓取，其中，n＞5。本专利技术提出一种准确度高，速度快且对不同形态肿瘤图像数据适应性强的脑胶质瘤关键帧智能抓取计算机系统。该系统使用VGG孪生网络来进行图像数据相似度匹配判断。由成像设备获取到的脑部MR图像是三维切片图像数据，轴向、冠状面以及矢状面三个平面都存在几百张切片数据，将医生已经挑选出的关键帧作为数据库，经过神经网络训练，通过新入组图像和数据库图像的相似度计算，智能确定新入组图像数据中的关键帧。本专利技术能自动实现脑胶质瘤三维图像的关键帧智能提取，对不同形态的肿瘤图像数据适应性好，精度高，速度快。附图说明图1：本专利技术方法流程图图2：数据库图像分类图例图3：孪生网络结构图图4：图像相似度计算图例图5：关键帧提取流程图具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图1及具体实施方案进行详细描述。本专利技术专利主要是利用VGG孪生网络对不同脑胶质瘤区域图像进行特征向量提取，然后进行交叉熵损失函数计算，通过计算结果得出输入的两幅图像的相似度对比，将新入组图像与图像数据库中的多张图像进行相似度对比后，通过阈值控制来确定新入组脑胶质瘤图像中的关键帧，而后将关键帧推送给医生进行进一步的诊断和处理。具体如下：1.MR图像预处理及分割标注模块对脑部MR图像进行颅骨剥离、线性配准、空间分辨率重新采样。对于脑部MR图像而言，肿瘤区域为感兴趣区域，脑部结构组织为背景区域，而颅骨部分为干扰因素。进行颅骨剥离能有效减少干扰因素对图像处理的影响，并减少后续计算参数量，有效提高图像处理速度。线性配准有很高的临床应用价值，进行线性配准和空间分辨率重新采样后能将不同格式数据标准化，方便后续进一步处理，有效保证病理区域图样的统一性和完整性。预处理完毕的图像数据输入卷积神经网络进行图像的分割标注，将感兴趣区域的三个区域：水肿区、坏死区及增强区分别用不同像素值进行标注，并添加索引图像，分别用绿色、红色、黄色代表脑胶质瘤的水肿区、坏死区、增强区，实现标分割标注的可视化，方便后续医生对图像数据关键帧的识别挑选工作。完成图像处理工作后，将进行数据库建立工作。富有诊断经验的医生将从30例病人脑部MR三维图像中挑选出十种类型的图像数据，共计3000张，示例图见附图2，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关本文档来自技高网...

【技术保护点】
1.一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统，包括，/n预处理模块，其作用是对脑部MR图像进行颅骨剥离、线性配准、空间分辨率重新采样预处理，以减少无效图像信息对图像处理的影响。/n分割标注模块，其作用是对预处理完的脑部MR图像，进行图像的分割标注，将感兴趣区域的三个区域：水肿区、坏死区及增强区，分别用不同像素值进行标注，并添加索引图像，分别用不同颜色代表脑胶质瘤的水肿区、坏死区和增强区，以实现标分割标注的可视化；/n构建数据库模块，从已有的病人脑部MR三维图像中挑选出不同类型的图像数据，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关键帧、矢状面非核心区图像、矢状面水肿区图像、矢状面关键帧、黑色背景图像；每个类型的图像数据被划分到同一组别；数据库图像一共十组，其中三组，包括轴向关键帧、轴向关键帧和矢状面关键帧，分别为三个方向上的关键帧，其他七个组别进行对比训练；/nVGG孪生网络构建及训练模块/n构建VGG孪生网络，将预处理后的数据库十组图像划分训练集和测试集，采用十折交叉验证法进行训练，VGG孪生网络由输入层、卷积层、最大池化层、全连接层和输出层组成；训练方式为每次任意选取任意两组图像进行训练，如果图像来源组别相同，则给予网络输入标签为1的信息；如果图像来源组别不同，则给予网络输入标签为0的信息；/n首先将预处理后的任意两组图像进行resize处理，输入初始网络权重，通过孪生神经网络的卷积层和池化层进行对两组图像的特征提取，获取到统一尺度下的不同图像数据的特征信息，将特征信息一维化，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出图像数据相似度数值，利用标签信息和图像数据相似度数值来计算交叉熵损失函数来进行反向传播更新权重信息，直到得到预期的loss值停止训练；/n关键帧提取模块/n对于新的图像，将其预处理并进行对脑肿瘤区域的分割标注后，与同一方向的关键帧图像输入VGG孪生网络模型进行图像数据进行特征提取，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出此图像与关键帧图像数据相似度数值，在与同一方向的n幅关键帧图像进行相似度比较时，如果任一次相似度数值结果小于0.5，即排除此图像为此方向上的图像的关键帧，否则，将此新的图像归类为同一方向上的关键帧，实现关键帧的智能抓取，其中，n＞5。/n...

【技术特征摘要】
1.一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统，包括，
预处理模块，其作用是对脑部MR图像进行颅骨剥离、线性配准、空间分辨率重新采样预处理，以减少无效图像信息对图像处理的影响。
分割标注模块，其作用是对预处理完的脑部MR图像，进行图像的分割标注，将感兴趣区域的三个区域：水肿区、坏死区及增强区，分别用不同像素值进行标注，并添加索引图像，分别用不同颜色代表脑胶质瘤的水肿区、坏死区和增强区，以实现标分割标注的可视化；
构建数据库模块，从已有的病人脑部MR三维图像中挑选出不同类型的图像数据，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关键帧、矢状面非核心区图像、矢状面水肿区图像、矢状面关键帧、黑色背景图像；每个类型的图像数据被划分到同一组别；数据库图像一共十组，其中三组，包括轴向关键帧、轴向关键帧和矢状面关键帧，分别为三个方向上的关键帧，其他七个组别进行对比训练；
VGG孪生网络构建及训练模块
构建VGG孪生网络，将预处理后的数据库十组图像划分训练集和测试集，采用十折交叉验证法进行训练，VGG孪生网络由输入层、卷积层、最大池化层、全...

【专利技术属性】
技术研发人员：曹玉珍，张钦皓，余辉，万振，王义义，王玉虎，李金秋，孙敬来，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12