交互融合Transformer的超声图像量化方法技术

本发明专利技术公开了交互融合Transformer的超声图像量化方法，所述方法包括：将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块(包括卷积神经网络、用于提取空间特征和通道特征的双注意力降维Transformer网络和双向交互融合单元)，基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。本发明专利技术通过双注意力降维Transformer网络提取空间特征和通道特征增强全局上下文信息的学习能力，卷积神经网络和Transformer网络分支之间交互学习，实现局部特征与全局上下文信息之间的双向融合。信息之间的双向融合。信息之间的双向融合。

【技术实现步骤摘要】
交互融合Transformer的超声图像量化方法


[0001]本专利技术涉及人工智能
，尤其涉及的是交互融合Transformer的超声图像量化方法。

技术介绍

[0002]先天性心脏病是导致新生儿和婴幼儿死亡最主要的原因，其发病率为8
‰
～1％，位居出生缺陷的首位。通过成像设备判断疾病的类型无疑是控制和治疗疾病发展的前提。超声心动图的采集过程凭借其无创性、便携性、低成本、对婴幼儿配合程度要求不高等属性成为了评估心脏健康与否的首选设备。在临床上实现对各类超声心动图解剖结构的分割对医生了解各种容积、直径等指标至关重要。此过程往往需要医生手动勾画解剖结构并进行相关生物学参数的测量来确定，耗时费力，且观察者之间差异性较大。因此迫切的需要设计一种有效、稳健、鲁棒性强的自动分割与测量的量化方法来减轻医生的工作量及观测间差异性，提高临床辅助筛查的有效性。
[0003]但是目前的图像量化分析方法因为分割精度差或者忽略局部细节信息导致量化分析结果不准确。
[0004]因此，现有技术还有待改进和发展。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种交互融合Transformer的超声图像量化方法，旨在解决现有技术中图像量化分析方法因为分割精度差或者忽略局部细节信息导致量化分析结果不准确的问题。
[0006]本专利技术解决问题所采用的技术方案如下：
[0007]第一方面，本专利技术实施例提供一种交互融合Transformer的超声图像量化方法，其中，所述方法包括：
[0008]采集真实图像；
[0009]将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；
[0010]基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。
[0011]在一种实现方式中，所述将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码包括：
[0012]将所述真实图像进行序列化，得到图像序列；
[0013]将所述图像序列输入至所述U型编码/解码模块中的双注意力降维Transformer网
络，将所述真实图像输入至所述U型编码/解码模块中的卷积神经网络；
[0014]针对每个U型编码/解码模块，基于所述双向交互融合单元，将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果，并将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络中，直至所有U型编码/解码模块均被使用，输出目标融合特征；
[0015]将所述目标融合特征输入至双注意力降维Transformer网络，得到图像分割预测掩码。
[0016]在一种实现方式中，所述双向交互融合单元包括分组特征学习单元和通道压缩激励单元，所述将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果包括：
[0017]将每个所述U型编码/解码模块中的卷积神经网络输出的第二特征输入至分组特征学习单元，得到第三特征，并将所述第三特征与每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征进行融合，得到第一融合结果；
[0018]将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征输入至所述通道压缩激励单元，得到第四特征，并将所述第四特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到第二融合结果。
[0019]在一种实现方式中，所述将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络，直至所有U型编码/解码模块均被使用，输出目标融合特征包括：
[0020]将所述第一融合结果输入至下一级U型编码/解码模块中的双注意力降维Transformer网络，并将所述第二融合结果输入至下一级U型编码/解码模块中的卷积神经网络，直至所有U型编码/解码模块均被使用，输出目标融合特征。
[0021]在一种实现方式中，所述双注意力降维Transformer网络包括多头降维双注意模块和前馈网络模块。
[0022]在一种实现方式中，所述多头降维双注意模块包括空间自注意模块、归一化层和通道自注意残差链接模块。
[0023]在一种实现方式中，所述图像分割模型的训练过程包括：
[0024]获取初始训练数据，并将所述初始训练数据进行扩充，得到目标训练数据；
[0025]根据所述目标训练数据，确定与所述目标训练数据对应的标签；
[0026]将所述目标训练数据输入至初始图像分割模型，得到模型输出数据，并根据所述模型输出数据和所述标签，对所述初始图像分割模型进行训练，当所述训练满足预设条件时，得到图像分割模型。
[0027]在一种实现方式中，所述基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果包括：
[0028]基于关键点定位方式，对所述图像分割预测掩码进行定位，得到若干定位点；
[0029]对若干所述定位点进行计算，得到与所述真实图像中若干部分区域一一对应的若干内径；
[0030]将所有内径作为量化分析结果。
[0031]第二方面，本专利技术实施例还提供一种交互融合Transformer的超声图像量化装置，其中，所述装置包括：
[0032]采集模块，用于采集真实图像；
[0033]分割模块，用于将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；
[0034]定位和量化分析模块，用于基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。
[0035]第三方面，本专利技术实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互融合Transformer的超声图像量化方法，其特征在于，所述方法包括：采集真实图像；将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。2.根据权利要求1所述的交互融合Transformer的超声图像量化方法，其特征在于，所述将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码包括：将所述真实图像进行序列化，得到图像序列；将所述图像序列输入至所述U型编码/解码模块中的双注意力降维Transformer网络，将所述真实图像输入至所述U型编码/解码模块中的卷积神经网络；针对每个U型编码/解码模块，基于所述双向交互融合单元，将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果，并将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络中，直至所有U型编码/解码模块均被使用，输出目标融合特征；将所述目标融合特征输入至双注意力降维Transformer网络，得到图像分割预测掩码。3.根据权利要求2所述的交互融合Transformer的超声图像量化方法，其特征在于，所述双向交互融合单元包括分组特征学习单元和通道压缩激励单元，所述将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果包括：将每个所述U型编码/解码模块中的卷积神经网络输出的第二特征输入至分组特征学习单元，得到第三特征，并将所述第三特征与每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征进行融合，得到第一融合结果；将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征输入至所述通道压缩激励单元，得到第四特征，并将所述第四特征与每个所述U型编...

【专利技术属性】
技术研发人员：汪天富，赵程，雷柏英，夏焙，向卓，陈敏思，陈伟玲，唐子鉴，
申请(专利权)人：深圳大学，
类型：发明
国别省市：