一种基于多任务学习的胎儿心脏疾病超声图像质量检测方法技术

本发明专利技术提供一种基于多任务学习的胎儿心脏疾病超声图像质量检测方法，该方法包括构建多任务学习网络模型；将胎儿超声数据集输入到多任务学习网络模型中进行检测，并经过共享底层网络进行特征提取；将完成特征提取后的特征图通过共享网络特性进行共享特征，并将共享后特征图分别输入到关键解剖结构检测器和超声切面分类器中，进行对应任务的检测；对输出的图像利用超声图像质量分析系统界面进行解析，完成辅助超声图像检测

【技术实现步骤摘要】
一种基于多任务学习的胎儿心脏疾病超声图像质量检测方法


[0001]本专利技术涉及医学超声图像质量检测
，具体涉及一种基于多任务学习的胎儿心脏疾病超声图像质量检测方法
。

技术介绍

[0002]超声图像医生工作压力加剧
。
随着科学技术发展与进步，医疗服务水平日益提高，各种医疗的服务和保障日益完善以及健康知识的普及，人们对身心健康的认知也由浅入深，因此，越来越多的人们开始注重身心健康，尤其是有孕妇家庭，越来越多孕妇进行产前胎儿健康检测评估，给医院
、
医生带来了空前未有工作压力，目前对于胎儿产前检查主要以超声检测为主，而超声图像的解析和健康评估主要由临床超声图像解析经验丰富并且具有丰富人体解剖专业知识的医生人工完成，这不仅占用了大量的人才资源更是降低了工作效率
。
[0003]产前超声检查是预防胎儿出生缺陷和评估胎儿健康的有力工具，受益于无创性
、
实时性和低成本的优势，超声检查一直是产前胎儿检查首选成像模式
。
在产前检查时，通过超声设备对胎儿进行扫描，获取胎儿超声图像，超声医生可以通过此图像的器官位置
、
器官形状等成像进行预测评估胎儿发育状况
。
而获取标准切面是医生准确判断的前提，然而，目前标准切面主要依赖超声图像医生的临床经验，这不仅存在很大的主观性，并容易得到较差的超声切面，且在临床上，由于丰富的专家超声医生来评估新手医生的超声图像质量，这不仅耗时费力，更是占用临床专家资源
。
[0004]目前，在超声图像解析过程主要由超声医生依靠丰富的临床经验和丰富的人体解剖学知识，进行人工筛选标准切面超声图像，进而评估胎儿发育健康程度
。
准确的评估是基于准确的标准超声图像，而这对于新手医生来说是非常具有挑战性，并且依靠人工解析
、
评估超声图像的结果，不仅带有较强的主观因素，而且非常耗工耗时
。
如何减轻超声医生的工作压力和释放超声医生资源占用，提高超声切面的质量，成为了临床检验的现实需求
。
[0005]尽管人工神经网络
(Artificial Neural Network
，
ANN)
早在
20
世纪
40
年代就被提出，其中研究人员也提出各种创新的网络算法和解决各种神经网络问题，但受限于计算机计算能力和相关数据量不足等原因，导致神经网络算法在许多应用领域或场景中未能实现突破，尤其是在医学领域中
。
近些年，随着计算能力和技术提升
、
人工智能算法深度优化
、
网络大数据发展等领域获得突破，人工神经网络再次被推上发展热潮
。
同时随着国家快速发展，人民生活越来越富裕，越来越多的人们开始注重产前胎儿检查，因此临床超声产前检查也积累了大量数据，进而推动人工智能在超声产前辅助诊断的发展与应用
。
[0006]在图像处理
、
机器学习
、
注意力机制
、
深度学习等技术支持下，学者们已提出许多神经网络智能辅助诊断系统应用于医学超声图像中，例如，现有技术提出了一种基于多任务学习和混合知识图谱的胎儿头部端到端超声标准平面检测
(USPD)
模型，降低了漏检率和错误检测率，提高了端到端自动检测的可靠性
、
可解释性，以及提高了相对较小且形态可变的解剖结构的检测精度；现有技术提出了一种新的多任务更快的区域卷积神经网络
(MF R
‑
CNN)
框架实现自动化质量评估，并提出了一种迁移学习分段训练方法，同时网络模型加入了临床先验知识模块，提高了检测结果的精确度
。
在共享残差特征层中加入了多尺度的通道
、
空间混合注意力机制模块，使得网络训练时网络关注目标的细节信息，同时能够提升网络模型的特征表达能力；现有技术提出了将特征金字塔网络
(FPN)、MobileNet
和
UNet(
即
MobileUNet
‑
FPN)
结合起来对
13
个关键心脏结构进行分割，实验结果表明所提出的模型在胎儿
A4C
和股骨长度图像上具有优异的性能；现有技术提出了一种基于工业物联网
(IIoT)
环境中深度学习的自动胎儿超声标准平面识别
(FUSPR)
模型，其中
FUSPR
模型由卷积神经网络
(CNN)
组件和循环神经网络
(RNN)
组件组成，分别利用多任务学习学习超声视频流的空间和时间特征
。
结果对
1000
多个超声视频进行的大量实验表明，
FUSPR
模型在准确性和性能方面优于竞争基线；现有技术提出了利用混合分类框架执行检测任务的用于心动周期检测的混合分类框架，其实验数据表明该模型平均分类结果准确率达到
94.84
％，对于某些结构和某些帧检测的平均检测误差分别为
1.25
和
0.80
帧；现有技术提出了一种基于多个分类器的异常阈值方法，并使用
XGBoost
算法作为子分类器来处理海量
ECG
数据，实现心脏疾病分类问题，其实验结果表明该方法可以有效提高分类精度
。
由此可见，许多实验表明人工神经网络在医学超声图像中进行图像质量检测和获取关键目标解剖结构等方面具有极大潜力和可行性
。
[0007]目前由于大多数人工智能神经网络仍属于一个神经网络只能完成一个或一类任务的单任务网络，因此对于如需要同时完成对一张图像进行画质质量评估和人物
、
景物等目标检测两类不同任务的多任务检测时往往需要使用两种分别针对画质质量评估的网络模型和针对目标检测的网络模型进行对一张图像进行检测，这不仅显得机器学习耗时费力繁琐，而且计算机需要对同张图像分别进行两次对应网络模型的计算，极大缩减了人工智能神经网络的灵活性和便捷性
。
[0008]因此，且受上述实验结果和单任务神经网络启发，本专利技术提出利用卷积神经网络的特征共享特性，在
YoloV5
多尺度单阶段的检测网络中结合注意力机制实现底层特征共享，实现单模型完成胎儿超声图像质量评估和胎儿心脏超声图像关键解剖结构检测的胎儿心脏疾病超声图像质量控制任务端到端的多任务学习模型
(GBI
‑
YoloV5)。

技术实现思路

[0009]为了克服现有技术的不足，本专利技术针对深度学习在医学领域发展较为缓慢，具有巨大的发展空间和发展潜力，并且目前大多数的机器学习，仍为单任务学习对于复杂任务显得较为困难等问题，提供一种基于多任务学习的胎儿心脏疾病超声图像质量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多任务学习的胎儿心脏疾病超声图像质量检测方法，其特征在于，该方法包括以下步骤：构建多任务学习网络模型；其中，多任务学习网络模型包括共享底层网络
、
关键解剖结构检测器和超声切面分类器；将胎儿超声数据集输入到多任务学习网络模型中进行检测，并经过共享底层网络进行特征提取；将完成特征提取后的特征图通过共享网络特性进行共享特征，并将共享后特征图分别输入到关键解剖结构检测器和超声切面分类器中，进行对应任务的检测；在关键解剖结构检测器输出检测并框选完目标区域后的图像，在超声切面分类器中输出图像的质量与图像类型，将两者输出进行结合对输出的图像进行解析；利用超声图像质量分析系统界面将输出图像和解析结构结果进行解析完成辅助超声图像检测
。2.
根据权利要求1所述的方法，其特征在于，所述共享底层网络包括：输入层，输入输入层的图像是原始图像采用马赛克增强和图像自适应预处理后的数据集图像；卷积层结构，共享底层网络由五个卷积核为3的卷积层和一个卷积核为6的卷积层组成；残差网络结构，整个共享底层网络共由4个卷积核为
1、
步长为1的含卷积层的残差边的残差结构块组成，其中，残差结构块中主干部分由继续嵌套
N
个残差边不含残差结构的残差块组成；注意力机制块，在
YoloV5
主干网络第五层卷积层前引入一个
GAM
通道
、
空间混合注意力机制，用于增强特征提取，并经过第五个卷积层和残差层输出底层共享的特征图；其中，共享底层网络每一层的激活函数为
SiLU
激活函数
。3.
根据权利要求2所述的方法，其特征在于：注意力机制块为
GAM
混合注意力机制，在
GAM
混合注意力机制中融入了多层感知机模块，当输入的特征图经过
GAM
通道输出后与原始特征图进行按特征点进行乘积，得到的特征图与原始特征图在尺寸上保持一致，并将得到的特征图作为
GAM
混合注意力机制的输入，在
GAM
混合注意力机制中，使用卷积核为7的卷积层对特征图升维和降维，即使用膨胀卷积替换原始卷积提高卷积速度
。4.
根据权利要求1所述的方法，其特征在于：在生成共享底层网络后，结合
SPPF、FPN
和
PAN
增融合多尺度特征，并使用
YoloV5
提供的9组锚框生成关键解剖结构检测器；其中，在共享底层网络和关键解剖结构检测器之间存在一个空间特征金字塔池化层
(SPPF)
的过渡层，用于将共享特征层尺寸固定和增强特征提取，为后续
FPN
提供丰富的特征层
。5.
根据权利要求4所述的方法，其特征在于：
FPN
包括卷积层
、
残差层
、
上采样层和特征融合层，对来自
SPPF
层的特征层利用卷积层和上采样层分别对特征层进行通道数和尺寸调整，融合来自共享网络的不同尺度特征，再利用残差层进行融合后的特征层特征提取，从而实现
FPN
的构建；其中，在
FPN
中依然会输出
三个不同尺度的特征层，
FPN
最大尺度的特征层既作为
PAN
的输入特征，也作为目标检测网络的输出，中
、
小尺度特征层作为
PAN
的输入特征层；
PAN
包括卷积层
、
残差层和特征融合层，对来自
SPPF
层的最大尺度的特征利用卷积层调整其通道数与来自
PAN
其他尺度的特征层进行融合，通过残差层提取融合后的特征，从而构建
PAN
；其中，在
PAN
结构中会输出两个不同尺度的特征层用于目标检测
。6.
根据权利要求1所述的方法，其特征在于，对多任务学习网络模型进行训练，包括：步骤
S11
，对于使用
YoloV5
网络开源优秀的模型参数初始化
GBI
‑
YoloV5
的共享底层络，并冻结主干网络参数，单独训练解剖关键区域检测模块；步骤
S12
，使用步骤
S11
训练好的网络模型，初始化网络的共享底层网络，继续单独训练解剖关键解剖结构检测器，此次训练不冻结共享底层网络；步骤
S13
，使用步骤
S12
训练好的网络模型初始化共享底层网络，并冻结共享底层网络和关键解剖结构检测器，单独训练超声切面分类器；步骤
S14
，步骤
S13
中训练好的模型，为多任务学习网络模型的模型训练结果，使用此结果初始化整个网络即可解析胎儿...

【专利技术属性】
技术研发人员：贺杰，杨磊，程鑫，
申请(专利权)人：湖南大学，
类型：发明
国别省市：