一种基于深度序列信息融合的冠脉造影图像分割方法技术

本发明专利技术涉及一种基于深度序列信息融合的冠脉造影图像分割方法，该方法的主要创新点是以一个X型的网络结构(XNet)融合了待分割图像输入与其对应的序列数据输入，从序列数据输入中抽取有效信息来减少噪声、造影剂分布不均等造影图像常常包含的问题带来的影响，以尽量提高分割图像效果。该网络结构模型主要包含两个U型网络，其中一个U型网络包含3D编码模块和2D解码模块，用于抽取序列数据中的有效特征信息，另一个U型网络包含2D编码模块和2D解码模块，用于针对性地进行分割图像的特征提取。这两个网络通过一个特征混合模块相连，用于将序列网络抽取得到的特征强化分割网络的前向特征传递。征传递。

【技术实现步骤摘要】
一种基于深度序列信息融合的冠脉造影图像分割方法


[0001]本专利技术涉及一种分割方法，具体涉及一种基于深度序列信息融合的冠脉造影图像分割方法，属于图像分割


技术介绍

[0002]人工智能在近几年内已经成为计算机科学领域中的重要研究方向，其成为了智能时代发展的一项核心技术。深度学习作为人工智能领域的一个重要研究成果，使得机器视觉研究领域得到了重大的突破。在2012年ImageNet竞赛中，有队伍使用神经网络将分类的最优结果提升了11％，并一举夺得当年ImageNet竞赛的冠军，深度神经网络从此走进了领域学者们的视野内。
[0003]在深度学习技术出现之前，机器视觉的算法中一个难以避免的问题便是如何将图像中的可用特征提取出来，而人工提出特征往往会导致算法的局限性，主要体现为两方面：人工特征的提取往往依赖于专业经验，从而导致特征提取不全或者提取的特征有效性较差；人工的特征融合的方式有限，使得提取到的特征信息无法得到有效地利用。而深度学习的算法可以在大量的训练过程中自主学习如何提取特征、提取何种特征，并将多个特征进行融合得到最后的预测结果，这就是深度学习能够在机器视觉领域大放异彩的一个原因。
[0004]在传统的机器视觉算法中图像分割是最具有挑战的任务，由于图像分割算法往往根据针对数据的不同而呈现不同的特征表现，在这种情况下，人工设计特征尤其困难，并且由于人工特征设计不够全面则导致欠分割或者过分割的情况。目前在深度学习技术的支持下，像素级的语义分割可以很好的应用到图像分割任务之上，在大数据的支撑下可以使得分割的结果达到一个令人满意的程度。
[0005]冠脉造影图像(Digital subtraction angiography，简称DSA)是用于临床分析血管疾病的金标准。其基本原理是将注入造影剂前后拍摄的两帧X线图像经数字化输入图像计算机，通过减影、增强和再成像过程把血管造影影像上的骨与软组织影像消除来获得清晰的纯血管影像。冠脉造影图像可以在心血管诊断及手术中为医生提供有效的信息，对于冠脉造影图像的分割的目标即是将造影剂充盈状态下的血管与背景区分开来，得到较为清晰的血管二值图像，有利于后续诊断或手术能够能加顺利地进行。结合深度学习方法的发展与冠脉造影图像的应用，可以通过设计深度学习模型结合手工标注数据训练训练模型以实现冠脉造影图像的分割。

技术实现思路

[0006]本专利技术正是针对现有技术中存在的问题，提供一种基于深度序列信息融合的冠脉造影图像分割方法，该技术方案使用深度学习方法以及提出的X型网络模型对冠脉造影图像进行血管分割，提高了分割的精准度。
[0007]为了实现上述目的，本专利技术的技术方案如下，一种基于深度序列信息融合的冠脉造影图像分割方法，所述方法包括以下步骤：
[0008]步骤1：获得冠脉血管造影图像序列；
[0009]步骤2：选取序列中某一帧为分割帧，即分割模型的目标是获得该帧对应的血管二值图像；
[0010]步骤3：对于序列中的所有图像进行灰度归一化；
[0011]步骤4：以分割帧为固定图像，对序列中的其他图像进行配准；
[0012]步骤5：对于标签进行处理，将前景血管像素标记为1，将背景像素标记为0；
[0013]步骤6：在图像序列中挑选与分割帧绝对平方误差最小的32张图像，并以原始序列中的顺序将这多张图像数据以通道合并的方式组成一个多通道张量；
[0014]步骤7：编写X型网络X
‑
Net模型，该网络包括两个输入端与两个输出端，其中两个输入端的输入分别是分割帧和序列数据，两个输出端都是分割帧对应的二值分割标签，该网络主要包括了卷积层、池化层、激活函数、损失函数等等组件；
[0015]步骤8：根据步骤6中编写完成的卷积神经网络，对于分割帧端的输出采用交叉熵与dice损失进行优化，对于序列端的输出采用交叉熵损失函数进行优化；
[0016]步骤9：根据步骤7对于网络进行训练，至收敛则得到了冠脉造影图像分割网络模型。该专利技术将序列信息通过深度学习的方法融合到单帧冠脉造影图像的分割中去，提高了分割的精准度。
[0017]作为本专利技术的一种改进，所述步骤7中：X
‑
Net模型架构，具体如下：
[0018]该模型分为两个U型网络；
[0019]其中一个U型网络以序列数据张量为输入，分割帧对应标签为输出监督，称为序列网络；
[0020]另一个U型网络以分割帧数据为输入，分割帧对应标签为输出监督，称为分割网络；
[0021]两个U型网络通过瓶颈层特征融合模块相连，将序列网络的特征添加到分割网络中去，为单帧图像分割添加序列上下文信息。
[0022]作为本专利技术的一种改进，X
‑
Net模型架构细节如下：
[0023]序列网络中包含一个3D编码模块和一个2D解码模块；
[0024]分割网络中包含一个2D编码模块和一个2D解码模块，以及从编码模块到解码模块的跳跃连接；
[0025]特征融合模块定义如下，其包含张量乘操作、softmax函数、张量加法操作：
[0026][0027]其中F
seg
，F
seq
，分别表示分割网络和序列网络对应的特征张量及其转置，Softmax(
·
)代表softmax函数，
×
代表矩阵相乘。
[0028]作为本专利技术的一种改进，所述的编码、解码模块细节：
[0029]3D编码模块包含5个3D卷积模块和4个最大池化层，每个3D卷积模块由3D卷积层、归一化函数、激活函数组成；
[0030]2D解码模块包含5个2D卷积模块和4个上采样层，每个2D卷积模块由2D卷积层、归一化函数、激活函数组成；
[0031]2D解码模块包含5个2D卷积模块和4个最大池化层，每个2D卷积模块由2D卷积层、
归一化函数、激活函数组成。
[0032]步骤3：对于序列中的所有图像进行灰度归一化，具体如下：
[0033]对于所有图像数据进行灰度归一化，灰度归一化公式为：
[0034][0035]其中I(i，j)，N(i，j)表示原图像和归一化后图像像素(i,j)的灰度值，min，max分别表示原图像中最小灰度值和最大灰度值。
[0036]作为本专利技术的一种改进，步骤7中，对于标签数据进行二值化；
[0037][0038]随机挑选一组数据包括分割帧、配准后的序列数据、标签，输入到网络模型中；
[0039]得到模型的输出，针对分割网络和序列网络两个输出，都计算损失函数进行反向传播，判断模型是否收敛，如收敛，则保存模型，如未收敛，则继续重复随机挑选一组数据的步骤。
[0040]相对于现有技术，本专利技术具有如下优点，该技术方案利用双输入的X型网络，在提取分割帧特征信息特征的同时以另一路编码路径从序列输入端在序列维度提取符合该分割帧的特征信息，然后在两个编码路径之后进行特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度序列信息融合的冠脉造影图像分割方法，其特征在于，所述方法包括以下步骤：步骤1：获得冠脉血管造影图像序列；步骤2：选取序列中某一帧为分割帧，即分割模型的目标是获得该帧对应的血管二值图像；步骤3：对于序列中的所有图像进行灰度归一化；步骤4：以分割帧为固定图像，对序列中的其他图像进行配准；步骤5：对于标签进行处理，将前景血管像素标记为1，将背景像素标记为0；步骤6：在图像序列中挑选与分割帧绝对平方误差最小的32张图像，并以原始序列中的顺序将这多张图像数据以通道合并的方式组成一个多通道张量；步骤7：编写X型网络X
‑
Net模型，该网络包括两个输入端与两个输出端，其中两个输入端的输入分别是分割帧和序列数据，两个输出端都是分割帧对应的二值分割标签；步骤8：根据步骤7中编写完成的卷积神经网络，对于分割帧端的输出采用交叉熵与dice损失进行优化，对于序列端的输出采用交叉熵损失函数进行优化；步骤9：根据步骤7对于网络进行训练至收敛则得到了冠脉造影图像分割网络模型。2.根据权利要求1所述的基于深度序列信息融合的冠脉造影图像分割方法，其特征在于，所述步骤7中：X
‑
Net模型架构，具体如下：该模型分为两个U型网络；其中一个U型网络以序列数据张量为输入，分割帧对应标签为输出监督，称为序列网络；另一个U型网络以分割帧数据为输入，分割帧对应标签为输出监督，称为分割网络；两个U型网络通过瓶颈层特征融合模块相连，将序列网络的特征添加到分割网络中去，为单帧图像分割添加序列上下文信息。3.根据权利要求2所述的基于深度序列信息融合的冠脉造影图像分割方法，其特征在于，X
‑
Net模型架构细节如下：序列网络中包含一个3D编码模块和一个2D解码...

【专利技术属性】
技术研发人员：陈阳，高雨枫，周寿军，
申请(专利权)人：东南大学，
类型：发明
国别省市：