一种基于深度学习的胸腔器官分割方法技术

本发明专利技术提供一种基于深度学习的胸腔器官分割方法。本发明专利技术改进了U‑Net的结构，得到了一种更优的用于胸腔器官分割的编码解码结构，相较于传统的U‑Net，在特征提取部分具有更好的性能以及更好的效果，而在上采样部分针对各层的不同特点增加了卷积和池化层，有效减少了锯齿现象，使得上采样结果更加精细，本发明专利技术也对分割结果中出现的一些脱离主体的分割错误进行了只取最大连通区域的处理。本发明专利技术训练速度和计算速度都优于传统的U‑Net网络，本发明专利技术方法的网络达到了50层，提取特征的效果更好，并且本发明专利技术仅需一个模型就可以用于多器官的图像分割。

A chest organ segmentation method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的胸腔器官分割方法
本专利技术涉及医学图像分割领域，具体来讲是一种基于深度学习技术的胸腔器官解剖学位置定位与轮廓描绘算法。
技术介绍
在临床上，胸腔器官的自动分割具有十分重大的临床意义，也已经成为了国内外研究的重点。在肺癌和食道癌中，放射治疗是一种较好的选择，要进行放射治疗需要描绘患有靶肿瘤的器官与靶肿瘤附近的健康器官。在当前阶段，描绘器官的工作主要由肿瘤科医生手动完成，繁琐，耗时久，而且描绘的精确度也并不高。对于某些器官(例如食道)，图像分割的任务具有十足的挑战性：患者与患者之间的形状和位置差异很大；CT图像中的轮廓具有低对比度，并且当CT值设置不合理时有可能不存在。在医学影像中现在常用的分割算法大多基于U-Net，大量研究表明U-Net在此领域是可行且相对可靠的。但是U-Net还存在一定的改进空间，从而可以更精确地描绘出各个器官的边缘轮廓。现在传统的U-Net结构简介如下：U-Net采用的是一个包含下采样和上采样的网络结构。下采样用来逐渐展现环境信息，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。左半边，也就是U型的下降部分是特征提取部分，每经过一个池化层图片的尺寸就下降一个尺度，上采样部分，每上采样一次，就和特征提取部分对应的通道数相同尺度融合，但是融合之前要将其尺寸调节为相同大小，这里的融合不是像素之间对应的加和，而是拼接。最终的输出不采用传统分类算法的全连接层，而是卷积层，这样可以实现像素级别的预测分类效果，宏观来看也就是对图像进行了分割处理。简单来看U-Net目前的优势在于可以实现端到端的分割，而且能适应大尺寸输入。同样的，缺点也比较明显。一个是U-Net对于每个块都要运行一次预测，而且由于网络本身的特点，会有许多重叠部分进行了多次的重复运算，虽然这样有助于提高特征提取的精度，但是对运行速度的影响是巨大的。必须在局部标记准确性和语义的确定之间进行权衡，大的分割块需要更多的池化层，但是池化层降低了局部标记的准确性，而小的分割块无法获得充分的语义信息。
技术实现思路
针对现有技术中存在的问题，本专利技术提供一种基于深度学习的胸腔器官分割方法。本专利技术改进了U-Net的结构，得到了一种更优的用于胸腔器官分割的编码解码结构，相较于传统的U-Net，在特征提取部分具有更好的性能以及更好的效果，而在上采样部分针对各层的不同特点增加了卷积和池化层，有效减少了锯齿现象，使得上采样结果更加精细，本专利技术也对分割结果中出现的一些脱离主体的分割错误进行了只取最大连通区域的处理。一种基于深度学习的胸腔器官分割方法，步骤如下：步骤(1)、图像预处理将输入的患者胸腔的CT图像进行预处理，去掉CT图像上不需要的文字信息，并将其转换为灰度图；所述的灰度图按顺序标记为(0，1，2，……，n)，将灰度图的灰度值进行归一化处理，对图像中的像素进行从[0,255]到[0,1]的映射。将灰度图中按{(0,1,2)，(1,2,3)，……，(n-2，n-1，n)}的顺序取出三张图，将取出的三张图融合为一张图，在维度上增加所需要分割的四个器官和背景的标记，所述的标记为人工添加，包含相对准确的器官位置和该图上包含的器官，没有器官的图被标记为背景。标记的顺序为气管、食道、心脏、大动脉和背景。例如，某张CT图上并没有上述四个器官，则标记为(0，0，0，0，1)；仅有食道，则标记为(0，1，0，0，0)，注意此处背景标志被取消；仅有气管和食道，则标记为(1，1，0，0，0)。最终获得预处理后的CT图像的NPY文件的形状为512*512*8，其中8代表3张图片加需要识别的5个特征；用于同时体现水平和竖直方向的信息。步骤(2)、对U-Net神经网络模型的结构进行改进首先将将传统U-Net的VGG网络替换为ResNet残差网络。对于上采样部分，仿照ResNet对网络结构进行扩充，针对各层的不同特点增加了卷积层和池化层，并且最后可以还原为原先的输入尺寸。步骤(3)、定义softmax函数与惩罚函数定义分类所需要的softmax函数：式中，ak(x)表示每个像素点对应特征通道的得分，K为类的数量，pk(x)是对类k的对像素点分类的结果，softmax函数用于在神经网络计算完成之后对计算结果进行分类输出，在通过softmax之前，数据的表现为一个一维的激活数据体，经过softmax之后输出的结果将会映射到相应的类别上，并形成上述的对应器官的对应标记；定义需要最小化的惩罚函数：E＝∑ω(x)log(pl(x)(x))式中，pl(x)(x)是经过神经网络计算之后生成的每个像素的标签；ω(x)是人工标注的每个像素的标签，x表示每一个像素，惩罚函数的作用为比对神经网络计算所得到的结果和人工标注的结果的差距，差距越大，给神经网络反馈的惩罚就越大，以此来激励神经网络朝着期望的方向进行训练；步骤(4)、训练改进后的U-Net神经网络模型，获得初步分割结果将预处理后的患者胸腔的CT图像输入改进后的U-Net进行训练，各层的激活函数均设置为ReLu,优化器采用Adam，学习率设置为0.01。训练结束后获得用于胸腔器官分割的神经网络模型，将待分割的CT图像输入神经网络模型中，得到输入CT图像对应的初步分割结果。步骤(5)、对获得的初步分割结果进行数据后处理，获得患者胸腔CT图像的最终分割结果对获得的初步分割结果采取只取最大连通区域的处理，获得患者胸腔CT图像的最终分割结果。所述的只取最大连通区域的处理的具体操作方法如下：(1)对于每个器官，生成的标记已经为二值化，仅有1和0，将不同器官的标记分离成不同文件；(2)给标记增加一个维度，仅取0和1；0表示未访问过，1表示已访问；(3)找到第一个有标记内容的像素点，将像素点的访问维度设置为1，同时将其入栈；(4)寻找栈顶元素周边八个像素点中是否存在非零像素点，如果存在，则压入堆栈，结束后将栈顶元素删除，当栈被清空时，则表示一个区域已经找完，继续寻找下一个有标记的区域；(5)当所有的像素都被遍历过之后，保留像素点个数最多的连通区域，其余的残渣区域全部都舍弃不用。本专利技术有益效果如下：1、本专利技术训练速度和计算速度都优于传统的U-Net网络；2、骨干网络ResNet自带的残差结构可以支持更深层次的网络结构，一般来说网络越深，提取特征的效果就越好，传统的VGG为19层，本专利技术方法的网络达到了50层，并且可以在牺牲速度的前提下达到101层；3、本专利技术仅需一个模型就可以用于多器官的图像分割；4、本专利技术基于工业界流行的Tensorflow的上级框架Keras开发，便于在其他设备上进行部署。附图说明图1为ResNet部分结构示意图；图2为气管的分割结果图；图3为食道的分割结果图；图4是心脏的分割结果图本文档来自技高网...

【技术保护点】
1.一种基于深度学习的胸腔器官分割方法，其特征在于，具体步骤如下：/n步骤(1)、图像预处理；/n将输入的患者胸腔的CT图像进行预处理，去掉CT图像上不需要的文字信息，并将其转换为灰度图；所述的灰度图按顺序标记为(0，1，2，……，n)，将灰度图的灰度值进行归一化处理，对图像中的像素进行从[0,255]到[0,1]的映射；将灰度图中按{(0,1,2)，(1,2,3)，……，(n-2，n-1，n)}的顺序取出三张图，将取出的三张图融合为一张图，在维度上增加所需要分割的四个器官和背景的标记，所述的标记为人工添加，包含相对准确的器官位置和该图上包含的器官，没有器官的图被标记为背景；标记的顺序为气管、食道、心脏、大动脉和背景；例如，某张CT图上并没有上述四个器官，则标记为(0，0，0，0，1)；仅有食道，则标记为(0，1，0，0，0)，注意此处背景标志被取消；仅有气管和食道，则标记为(1，1，0，0，0)；/n最终获得预处理后的CT图像的NPY文件的形状为512*512*8，其中8代表3张图片加需要识别的5个特征；用于同时体现水平和竖直方向的信息；/n步骤(2)、对U-Net神经网络模型的结构进行改进；/n首先将将传统U-Net的VGG网络替换为ResNet残差网络；对于上采样部分，仿照ResNet对网络结构进行扩充，针对各层的不同特点增加了卷积层和池化层，并且最后可以还原为原先的输入尺寸；/n步骤(3)、定义softmax函数与惩罚函数；/n定义分类所需要的softmax函数：/n...

【技术特征摘要】
1.一种基于深度学习的胸腔器官分割方法，其特征在于，具体步骤如下：
步骤(1)、图像预处理；
将输入的患者胸腔的CT图像进行预处理，去掉CT图像上不需要的文字信息，并将其转换为灰度图；所述的灰度图按顺序标记为(0，1，2，……，n)，将灰度图的灰度值进行归一化处理，对图像中的像素进行从[0,255]到[0,1]的映射；将灰度图中按{(0,1,2)，(1,2,3)，……，(n-2，n-1，n)}的顺序取出三张图，将取出的三张图融合为一张图，在维度上增加所需要分割的四个器官和背景的标记，所述的标记为人工添加，包含相对准确的器官位置和该图上包含的器官，没有器官的图被标记为背景；标记的顺序为气管、食道、心脏、大动脉和背景；例如，某张CT图上并没有上述四个器官，则标记为(0，0，0，0，1)；仅有食道，则标记为(0，1，0，0，0)，注意此处背景标志被取消；仅有气管和食道，则标记为(1，1，0，0，0)；
最终获得预处理后的CT图像的NPY文件的形状为512*512*8，其中8代表3张图片加需要识别的5个特征；用于同时体现水平和竖直方向的信息；
步骤(2)、对U-Net神经网络模型的结构进行改进；
首先将将传统U-Net的VGG网络替换为ResNet残差网络；对于上采样部分，仿照ResNet对网络结构进行扩充，针对各层的不同特点增加了卷积层和池化层，并且最后可以还原为原先的输入尺寸；
步骤(3)、定义softmax函数与惩罚函数；
定义分类所需要的softmax函数：



式中，ak(x)表示每个像素点对应特征通道的得分，K为类的数量，pk(x)是对类k的对像素点分类的结果，softmax函数用于在神经网络计算完成之后对计算结果进行分类输出，在通过softmax之前，数据的表现为一个一维的激...

【专利技术属性】
技术研发人员：颜成钢，郑鑫磊，孙垚棋，张继勇，张勇东，韩卫东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33