胎儿心脏超声视频中合格四腔心切面图像自动获取方法技术

胎儿心脏超声视频中合格四腔心切面图像自动获取方法，包括:对胎儿心脏超声视频进行分帧处理；人工筛选出合格的四腔心切面图像，并对四腔心和降主动脉区域进行标注；搭建并训练YOLOv5目标检测网络；搭建并训练Darknet53分类网络；分帧处理并利用YOLOv5目标检测网络逐帧检测待提取切面的胎儿心脏超声视频中的四腔心和降主动脉；记录视频中是否存在降主动脉并提取检测到的四腔心区域图像；利用Darknet53分类网络对提取的准四腔心区域进行分类，同时计算分类为合格的四腔心切面图像得分，根据得分大小对这些切面图像进行排序，自动给出视频中的最佳四腔心切面图像。本发明专利技术方法能够有效获取胎儿心脏超声视频中合格四腔心切面图像，同时还可给出最佳的切面图像。同时还可给出最佳的切面图像。同时还可给出最佳的切面图像。

【技术实现步骤摘要】
Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2017,39(6):1137
‑
1149.中记载的检测胎儿头围超声图像中的五个解剖结构，根据是否检测到对应的解剖结构得到图像对应的评估得分，但该方法的评分效果比较依赖于人工设定的经验阈值。使用该方法来检测胎儿心脏超声视频，当阈值设得较低时，会有一些其他结构被误检，如图1(a)、图1(b)、图1(c)所示。
[0009]而文献[9]：中国专利“一种对中晚孕期胎儿的超声切面图像进行质量控制的方法”(CN110464380A)利用文献[6]Redmon J and Farhadi A.2018.YOLOv3:An Incremental Improvement[EB/OL].[2021
‑
11
‑
15].https://arxiv.org/pdf/1804.02767.pdf检测多个胎儿超声切面图像的解剖结构，通过关键解剖结构对应的位置坐标计算其重合度，再根据重合度关联表过滤掉误检的解剖结构，最后通过组织
‑
得分映射表得到关键结构过滤后的胎儿超声切面图像质量分数，该方法在一定程度上减少了目标检测模型的误检情况，但比较依赖于临床的先验知识。
[0010]文献[10]：中国专利“超声切面图像质量控制方法、装置和计算机设备”(CN112070119A)利用文献[5]T.Lin,P.Goyal,R.Girshick,K.He and P.Doll
á
r,Focal Loss for Dense Object Detection,in IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.42,no.2,pp.318
‑
327,1Feb.2020,doi:10.1109/TPAMI.2018.2858826.检测多个胎儿超声切面图像的解剖结构，根据每个切面中的结构是否出现、是否清晰等规则，得到该胎儿超声切面图像是否为标准切面图像等评估结果，并生成每张图像的质量分数，其质量分数是通过相关解剖结构的权重与检测框置信度的加权和计算得到的，但实际解剖结构的检测框置信度可能与其清晰程度不完全匹配，如图2(a)、图2(b)所示。图2(a)中四腔心区域的瓣膜几乎看不到，但置信度却高于图2(b)，表明仅依靠检测框置信度来对胎儿心脏超声视频中的合格四腔心切面实现自动获取是不可靠的。
[0011]在前人的基础上，文献[11]：中国专利“基于多任务的早孕期胎儿标准切面的自动质量控制方法”(CN113393456A)提出一种基于多任务的深层卷积神经网络来对早孕期胎儿标准切面进行自动质量控制，通过该网络获取切面图像对应的切面类别及其置信度、该切面图像中所有解剖结构的类别、坐标及其置信度，将每张超声切面图像对应的切面类别及该切面图像中所有解剖结构的类别输入到训练好的SVM分类模型中，根据预先制定的匹配规则来判断切面图像是否标准，该方法的质控结果易受分类模块准确度的影响，尤其是当切面被误分类时，即使该切面上所有解剖结构的检测结果都符合原标准切面的要求，分类结果仍然为非标准切面。
[0012]综上所述，仅使用目标检测或分类模型来对胎儿超声切面图像进行自动获取是不稳定、不可靠的，一方面分类模型无法定位解剖结构，不能将注意力全部集中到指定的解剖结构上，另一方面目标检测模型对解剖结构的检测框置信度与其清晰程度不完全匹配，易对超声图像的解剖结构造成误检，必须将目标检测和分类方法两者结合起来，采用先定位再分类的切面图像自动获取策略，以提升胎儿超声视频中合格四腔心切面图像自动获取的可靠性。

技术实现思路

[0013]针对分类模型无法对指定的解剖结构定位，因此不能够将模型的注意力全部集中
到四腔心区域；而目标检测模型不能准确反映四腔心区域的清晰程度，导致在高阈值下多漏检、低阈值下多误检的问题。本专利技术提出一种胎儿心脏超声视频中合格四腔心切面图像自动获取方法，先利用目标检测网络实现心脏区域定位，接着利用图像分类网络实现合格四腔心切面分类的策略，所得的排序结果与人眼排序结果吻合，能够有效获取胎儿心脏超声视频中合格四腔心切面图像，同时还可给出最佳的切面图像。
[0014]本专利技术采取的技术方案为：
[0015]胎儿心脏超声视频中合格四腔心切面图像自动获取方法，包括以下步骤：
[0016]步骤1：对胎儿心脏超声视频进行分帧处理；
[0017]步骤2：人工筛选出合格的四腔心切面图像，并对四腔心和降主动脉区域进行标注；
[0018]步骤3：搭建并训练YOLOv5目标检测网络；
[0019]步骤4：搭建并训练Darknet53分类网络；
[0020]步骤5：分帧处理，并利用YOLOv5目标检测网络逐帧检测待提取切面的胎儿心脏超声视频中的四腔心和降主动脉；
[0021]步骤6：记录视频中是否存在降主动脉并提取检测到的四腔心区域图像；
[0022]步骤7：利用Darknet53分类网络对提取的准四腔心区域进行分类，同时计算分类为合格的四腔心切面图像得分，根据得分大小对这些切面图像进行排序，自动给出视频中的最佳四腔心切面图像。
[0023]本专利技术一种胎儿心脏超声视频中合格四腔心切面图像自动获取方法，有益效果如下：
[0024]1)、图像分类模型无法对超声切面图像中的解剖结构进行定位，因此不能够将模型的注意力全部集中到指定的解剖结构；而目标检测模型虽然能够给出解剖结构的位置坐标，但因其检测框置信度与其清晰程度不完全匹配，易对解剖结构造成误检。
[0025]针对以上问题，本专利技术方法利用YOLOv5模型对关键解剖结构进行粗定位，将其提取出来后采用Darknet53对关键解剖结构进行分类的方法，能减少YOLOv5在高阈值下多漏检与低阈值下多误检的情况。
[0026]2)、合格的四腔心切面图像一般包括四腔心和降主动脉区域，由于胎儿心脏超声视频是连续、动态的，录制过程中会受到胎儿、医生技术水平等因素的影响，并不是每帧四腔心切面图像都存在清晰可见的降主动脉区域，这对判断四腔心切面图像是否合格造成了困难，且难以获取视频中最佳的四腔心切面图像。
[0027]针对以上问题，本专利技术方法通过融合时序关系自动获取合格四腔心切面图像，该方法通过视频中是否存在降主动脉，判断其中的四腔心切面是否为准合格四腔心切面图像。接着将准合格的切面图像内的四腔心区域提取出来交由Darknet53判断其是否真正合格，根据Darknet53网络在softmax处理前的输出与降主动脉的检测置信度，计算出合格四腔心切面图像的得分，并根据得分大小对视频中的合格四腔心切面图像进行排序，由此不仅可以自动获取视频中的合格四腔心切面图像，而且还可同时给出最佳的四腔心切本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.胎儿心脏超声视频中合格四腔心切面图像自动获取方法，其特征在于包括以下步骤：步骤1：对胎儿心脏超声视频进行分帧处理；步骤2：筛选出合格的四腔心切面图像，并对四腔心和降主动脉区域进行标注；步骤3：搭建并训练YOLOv5目标检测网络；步骤4：搭建并训练Darknet53分类网络；步骤5：分帧处理，并利用YOLOv5目标检测网络逐帧检测待提取切面的胎儿心脏超声视频中的四腔心和降主动脉；步骤6：记录视频中是否存在降主动脉，并提取检测到的四腔心区域图像；步骤7：利用Darknet53分类网络对提取的准四腔心区域进行分类，同时计算分类为合格的四腔心切面图像得分，根据得分大小对这些切面图像进行排序，自动给出视频中的最佳四腔心切面图像。2.根据权利要求1所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法，其特征在于：步骤2具体为：对步骤1中得到的胎儿心脏视频分帧数据集进行人工筛选，筛选出合格的四腔心切面图像，并标注四腔心与降主动脉区域，将其作为YOLOv5目标检测网络模型的训练数据集、验证数据集和测试数据集。3.根据权利要求2所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法，其特征在于：步骤3包括以下步骤：步骤3.1：将步骤1中得到的数据集按一定的比例划分训练集、验证集、测试集，利用划分后的数据集来训练YOLOv5目标检测网络模型；步骤3.2：通过测试集来评估YOLOv5目标检测网络模型的检测性能，这里的测试集指的是从步骤1中人工筛选得到的合格四腔心切面图像；步骤3.3：利用训练好的YOLOv5目标检测网络提取出易误检的样本，将误检为四腔心的区域提取出来，作为不合格的四腔心区域图像；步骤3.4：利用人工标注的位置坐标，将步骤2中人工筛选出的合格四腔心切面图像中的四腔心区域提取出来，作为合格的四腔心区域图像；步骤3.5：用步骤3.3和步骤3.4中不合格的四腔心区域图像与合格的四腔心区域图像，构建Darknet53分类网络模型的训练数据集、验证数据集和测试数据集。4.根据权利要求3所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法，其特征在于：步骤4包括以下步骤：步骤4.1：将步骤3.5中得到的合格与不合格四腔心区域图像，按一定的比例划分训练集、验证集、测试集，再将划分后的数据集合并；步骤4.2：利用步骤4.1中划分后的分类数据集来训练Darknet53分类网络，并通过测试集来评估Darknet53分类网络的分类性能。5.根据权利要求4所述一种胎儿心脏超声视频中合格四腔心切面图像自动获取方法，其特征在于：步骤5包括以下步骤：步骤5.1：对待提取切面的胎儿心脏超声视频进行分帧处理；步骤5.2：利用YOLOv5采用一定阈值逐帧检测待提取切面的胎儿心脏超声视频中的四
腔心和降主动脉区域。6.根据权利要求5所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法，其特征在于：步骤6包括以下步骤：步骤6.1：对YOLOv5输出的检测结果以视频序号_帧号的格式命名，查找YOLOv5输出的检测结果文件中是否存在降主动脉，若存在降主动脉，则将文件名中的视频序号、帧号及降主动脉检测置信度记录下来，并将该视频中检测到四腔心区域的切面都视为准合格的四腔心切面图像；若算法在视频中未能检测到可靠的降主动脉区域，即使在该视频中检测到四腔心区域，也将该切面图像视为不合格的四腔心切面图像，不对其进行自动获取；步骤6.2：将步骤6.1中准合格的四腔心切面图像中的四腔心区域提取出来。7.根据权利要求6所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法，其特征在于：准合格的四腔心切面...

【专利技术属性】
技术研发人员：徐光柱，钱奕凡，王阳，刘蓉，周军，雷帮军，
申请(专利权)人：三峡大学，
类型：发明
国别省市：