基于两阶段CNN的X射线血管造影图像匹配方法和系统技术方案

本发明专利技术属于图像识别领域，具体涉及了一种基于两阶段CNN的X射线血管造影图像匹配方法和系统，旨在解决现有技术中无法获取精确的针对冠状动脉的血管造影图像并与无造影的图像进行匹配的问题。本发明专利技术包括：获取包含冠状动脉的造影图像序列；通过轻量化分类CNN网络将造影图像序列分为有造影图像集和无造影图像集；基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；通过轻量化匹配CNN网络，从所述有造影图像库中搜索出无造影图像的匹配造影图像。本发明专利技术使不匹配数据对的欧氏距离变大，使匹配数据对的欧氏距离变小，从而提高了无造影图像和造影图像匹配的准确性。像匹配的准确性。像匹配的准确性。

【技术实现步骤摘要】
基于两阶段CNN的X射线血管造影图像匹配方法和系统


[0001]本专利技术属于图像识别领域，具体涉及了一种基于两阶段CNN的X射线血管造影图像匹配方法和系统。

技术介绍

[0002]在血管内介入手术中，由于人体血管组织会被X射线穿透，从而在X射线造影图像中不可见，为确定导管或其他介入器械与血管的相对位姿，医生需要向血管内注射密度较大的造影剂来显示血管形状。由于冠状动脉压强大、血液流速快，会在几秒内迅速冲刷掉注入的造影剂，在临床手术中通常会在每次造影后选择一帧X射线造影血管图像固定作为术中参考图像。在呼吸和心跳的影响下，冠状动脉会发生剧烈的弹性形变，因此医生必须频繁注入造影剂来更新参考图像。
[0003]然而，注入过量的造影剂会给患者的肾脏造成额外的排泄负担，对于肾脏功能较弱的患者甚至可能造成一定的身体损害。另一方面，长期暴露在X射线辐射中的医生癌症患病率会上升，为了防止辐射带来的伤害，医生需要穿着沉重的铅皮防护服进行手术，长时间的负重站立会对医生的身体造成损害。
[0004]如果能从少量几次造影视频序列中捕获并分类出在心跳影响下的X射线血管造影图像和无造影图像，分别提取有造影和无造影图像中的显著特征，并能从这些特征中寻找相似信息，从而训练一个可以匹配发生相同形变的X射线造影图像和无造影图像的模型，就能在手术中使用该模型将预先提取的X射线造影图像与术中实时的无造影图像进行匹配。
[0005]目前针对血管匹配的相关研究极少，且其中大多是研究眼部巩膜血管和腹主动脉的匹配问题。眼部巩膜毛细血管呈红色，无需造影剂也可以清晰地看到血管结构；腹主动脉距离心脏较远，发生的位移和形变都非常微小，且其血管相比于冠状动脉直径更粗，因此发生的形变相较于血管直径几乎可以忽略不计。因此，本专利技术提出的针对冠状动脉的血管造影图像匹配研究更加复杂困难，具有很强的创新性。

技术实现思路

[0006]为了解决现有技术中的上述问题，即现有技术中无法获取精确的针对冠状动脉的血管造影图像并与无造影的图像进行匹配的问题，本专利技术提供了一种基于两阶段CNN的X射线血管造影图像匹配方法，具体包括：
[0007]步骤S100，获取包含冠状动脉的造影图像序列；
[0008]步骤S200，通过轻量化分类CNN网络将所述包含冠状动脉的造影图像序列分为有造影图像集和无造影图像集；
[0009]步骤S300，基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；
[0010]步骤S400，基于所述无造影图像集，选取一张无造影图像通过轻量化匹配CNN网络，从所述有造影图像库中搜索出所述无造影图像序列的匹配造影图像。
[0011]在一些优选的实施方式中，所述轻量化分类CNN网络，基于Xception网络改进，通过并行三通道预处理方法，对输入图像进行去噪并分类为有造影图像集和无造影图像集。
[0012]在一些优选的实施方式中，所述并行三通道预处理方法为，将输入图像的三个通道分别进行高斯滤波、均值滤波和直方图均衡化处理，再进行分类处理。
[0013]在一些优选的实施方式中，所述轻量化匹配CNN网络，基于伪孪生网络的双loss辅助训练网络构建，具体包括主路和辅助路；
[0014]所述主路包括匹配CNN网络分支前部分和伪孪生稠密模块；
[0015]所述匹配CNN网络分支前部分包括第一分支前部分和第二分支前部分，所述第一分支前部分和第二分支前部分均为结构相同但不共享权值，所述第一分支前部分的结构与VGG19的前三个卷积模块相同；
[0016]所述伪孪生稠密模块，为Pseudo
‑
Siamese Dense BLOCK网络；
[0017]所述辅助路包括分支后部分和辅助路共享部分；
[0018]所述分支后部分包括第一分支后部分和第二分支后部分，所述第一分支后部分和第二分支后部分结构相同但不共享权值，所述第一分支后部分的结构与VGG19的后两个卷积模块相同；第一分支后部分和第二分支后部分分别与第一分支前部分的输出和第二分支前部分的输出相连；所述第一分支后部分和第二分支后部分的输出相连，并连接卷积层和2个全连接层。
[0019]在一些优选的实施方式中，所述轻量化匹配CNN网络，其测试方法为：
[0020]步骤A100，将所述无造影图像序列和有造影图像库中的有造影图像序列分别输入第一分支前部分和第二分支前部分，分别通过第一分支前部分和第二分支前部分获得无造影特征图像和有造影特征图像；
[0021]步骤A200，将所述无造影特征图像和有造影特征图像通过最大池化操作后送入所述伪孪生稠密模块；
[0022]步骤A300，所述为孪生稠密模块输出所述无造影特征图像和有造影特征图像的欧式距离；
[0023]步骤A400，欧氏距离最小的一组无造影特征图像和有造影特征图像对应的有造影图像即为匹配造影图像。
[0024]在一些优选的实施方式中，所述轻量化匹配CNN网络，其训练方法为：
[0025]步骤B100，获取带有标签的造影图像训练序列和无造影图像训练序列；
[0026]步骤B200，基于所述造影图像训练序列和无造影图像训练序列，通过如步骤A100的方法获取获取无造影特征图像和有造影特征图像；并通过步骤A100
‑
步骤A400的方法获取匹配造影图像；
[0027]步骤B300，基于所述无造影特征图像和有造影特征图像，通过所述第一分支后部分和第二分支后部分生成辅助路无造影特征图和辅助路有造影特征图；
[0028]步骤B400，将所述辅助路无造影特征图和辅助路有造影特征图合并并通过辅助路共享部分生成二分类结果；
[0029]步骤B500，基于所述二分类结果，通过反向传播优化方法调整辅路参数直至交叉熵损失函数低于预设的阈值；
[0030]基于所述匹配造影图像，通过反向传播优化方法调整主路参数直至对比损失函数
低于预设的阈值；
[0031]所述交叉熵损失函数和所述对比损失函数均低于预设阈值时，获得训练好的轻量化匹配CNN网络。
[0032]在一些优选的实施方式中，所述交叉熵损失函数为：
[0033]其中，y
i
表示第i个样本的标签，p
i
表示第i个样本匹配正确的概率，N表示样本总数，i表示样本序号。
[0034]在一些优选的实施方式中，所述对比损失函数L为：中，所述对比损失函数L为：D(X1，X2)＝‖G(X1)
‑
G(X2)‖2[0035]其中，对比损失函数L表示所有数据对的单独损失函数l之和，P表示数据对的数量，X1和X2分别表示输入的无造影图像序列和有造影图像序列，Y表示样本的标签，i表示样本序号，G表示每个输入通过所在主路后的输出，D表示两个输入通过网络后的输出向量之间的欧式距离，m为预设的贡献阈值。
[0036]在一些优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述方法包括：步骤S100，获取包含冠状动脉的造影图像序列；步骤S200，通过轻量化分类CNN网络将所述包含冠状动脉的造影图像序列分为有造影图像集和无造影图像集；步骤S300，基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；步骤S400，基于所述无造影图像集，选取一张无造影图像通过轻量化匹配CNN网络，从所述有造影图像库中搜索出所述无造影图像序列的匹配造影图像。2.根据权利要求1所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述轻量化分类CNN网络，基于Xception网络改进，通过并行三通道预处理方法，对输入图像进行去噪并分类为有造影图像集和无造影图像集。3.根据权利要求2所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述并行三通道预处理方法为，将输入图像的三个通道分别进行高斯滤波、均值滤波和直方图均衡化处理，再进行分类处理。4.根据权利要求2所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述轻量化匹配CNN网络，基于伪孪生网络的双loss辅助训练网络构建，具体包括主路和辅助路；所述主路包括匹配CNN网络分支前部分和伪孪生稠密模块；所述匹配CNN网络分支前部分包括第一分支前部分和第二分支前部分，所述第一分支前部分和第二分支前部分均为结构相同但不共享权值，所述第一分支前部分的结构与VGG19的前三个卷积模块相同；所述伪孪生稠密模块，为Pseudo
‑
Siamese Dense BLOCK网络；所述辅助路包括分支后部分和辅助路共享部分；所述分支后部分包括第一分支后部分和第二分支后部分，所述第一分支后部分和第二分支后部分结构相同但不共享权值，所述第一分支后部分的结构与VGG19的后两个卷积模块相同；第一分支后部分和第二分支后部分分别与第一分支前部分的输出和第二分支前部分的输出相连；所述第一分支后部分和第二分支后部分的输出相连，并连接卷积层和2个全连接层。5.根据权利要求4所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述轻量化匹配CNN网络，其测试方法为：步骤A100，将所述无造影图像序列和有造影图像库中的有造影图像序列分别输入第一分支前部分和第二分支前部分，分别通过第一分支前部分和第二分支前部分获得无造影特征图像和有造影特征图像；步骤A200，将所述无造影特征图像和有造影特征图像通过最大池化操作后送入所述伪孪生稠密模块；步骤A300，所述为孪生稠密模块输出所述无造影特征图像和有造影特征图像的欧式距离；步骤A400，欧氏距离最小的一组无造影特征图像和有造影特征图像对应的有造影图像即为匹配造影图像。
6.根据权利要求5所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述轻量化匹配CNN网络，其训练方法为：步骤B100，获取带有标签的造影图像训练序列和无造影图像训练序列；步骤B200，基于所述造影图像训练序列和无...

【专利技术属性】
技术研发人员：刘市祺，谢晓亮，侯增广，曲新凯，韩文正，周小虎，马西瑶，周彦捷，
申请(专利权)人：华东医院，
类型：发明
国别省市：