乳腺病灶分割装置、模型训练方法及电子设备制造方法及图纸

本申请提供了一种乳腺病灶分割装置、模型训练方法及电子设备，涉及图像处理技术领域。该装置包括连接的U

【技术实现步骤摘要】
乳腺病灶分割装置、模型训练方法及电子设备


[0001]本申请涉及图像处理
，具体而言，涉及一种乳腺病灶分割装置、模型训练方法及电子设备。

技术介绍

[0002]乳腺癌是常见的发生在女性身上的恶性肿瘤，本来其恶性程度不高，但是现在乳腺癌在女性中被确诊时患者的年纪越来越年轻，且恶化程度越来越大，以至于乳腺癌已然成了威胁生命的一大杀手。而早期发现、诊断和治疗乳腺癌均可以帮助提高患者的年生存率和生活质量。磁共振成像技术的日益成熟，对乳腺癌早期确诊和治疗都起到了恰当的辅助作用。特别是在超声图像当中乳腺病灶区域的准确分割有助于乳腺癌的早期诊断和治疗。
[0003]超声图像中乳腺病灶区域的分割受到了业内广泛的研究。随着计算机视觉领域的不断发展，其中大量基于深度学习的图像分割方法应运而生，将这些方法应用于医学图像的尝试也开始层出不穷。如很多传统的语义分割网络如FCN、SegNet和U
‑
Net等已经大量用于超声病灶的分割。
[0004]尽管已有的分割网络在一定程度上提高了乳腺超声图像病灶区域分割的准确率，但是超声影像的低成像质量，如噪声和伪影严重、病灶边界模糊等问题，仍然制约着神经网络的分割精度。也即，当前的分割网络的分割准确性仍然有待提高。

技术实现思路

[0005]本申请提供了一种乳腺病灶分割装置、模型训练方法、电子设备及可读存储介质，其能够利用包括基于自注意力单元的输出图像与对应的样本轮廓图像的边界损失训练得到的自注意力单元的乳腺病灶分割装置，得到准确性高的乳腺病灶分割掩膜。
[0006]本申请的实施例可以这样实现：
[0007]第一方面，本申请实施例提供一种乳腺病灶分割装置，所述装置包括连接的U
‑
Net网络及至少一个自注意力单元，所述U
‑
Net网络包括多个下采样单元及多个上采样单元，
[0008]所述U
‑
Net网络，用于根据待分析的乳腺超声图像，得到乳腺病灶分割掩膜；
[0009]各所述自注意力单元，用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元；任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层；各所述自注意力单元基于样本轮廓图像与该自注意力单元的输出图像的边界损失训练得到。
[0010]第二方面，本申请实施例提供一种模型训练方法，用于训练得到乳腺病灶分割装置，所述方法包括：
[0011]获得多张样本乳腺超声图像及所述多张样本乳腺超声图像各自对应的样本掩膜图像及样本病灶轮廓图像；
[0012]将所述样本乳腺超声图像输入到预设的神经网络模型中，得到该神经网络模型生成的至少一张第三目标特征图以及该神经网络模型输出的待分析掩膜图像，其中，所述神经网络模型中包括U
‑
Net网络及至少一个自注意力单元及至少一个自注意力单元，所述U
‑
Net网络包括多个下采样单元及多个上采样单元，各所述自注意力单元用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元；任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层；
[0013]根据各所述第三目标特征图、待分析掩膜图像、对应的样本掩膜图像及对应的样本病灶轮廓图像，计算得到总损失，其中，所述总损失包括所述第三目标特征图与对应的样本病灶轮廓图像的边界损失；
[0014]根据所述总损失对所述神经网络模型进行调整，以训练得到所述乳腺病灶分割装置。
[0015]第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式所述的乳腺病灶分割装置。
[0016]第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式所述的乳腺病灶分割装置。
[0017]本申请实施例提供的乳腺病灶分割装置、模型训练方法及电子设备，U
‑
Net网络与至少一个自注意力单元连接，U
‑
Net网络包括多个下采样单元及多个上采样单元；U
‑
Net网络，用于根据待分析的乳腺超声图像，得到乳腺病灶分割掩膜；各自注意力单元，用于基于自注意力机制，根据所连接的下采样单元输出的第一目标特征图及输入至所连接的上采样单元的第二目标特征图，得到第三目标特征图，并将第三目标特征图输入到所连接的上采样单元；任一个自注意力单元所连接的下采样单元及所连接的上采样单元位于同层；各自注意力单元基于样本轮廓图像与该自注意力单元的输出图像的边界损失训练得到。如此，可利用包括更关注病灶边缘特征的自注意力单元的乳腺病灶分割装置，得到准确高的病灶分割结果。
附图说明
[0018]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0019]图1为本申请实施例提供的电子设备的方框示意图；
[0020]图2为本申请实施例提供的乳腺病灶分割装置的方框示意图之一；
[0021]图3为本申请实施例提供的乳腺病灶分割装置的结构示意图；
[0022]图4为本申请实施例提供的乳腺病灶分割装置的方框示意图之二；
[0023]图5为图4中的自注意力单元的示意图；
[0024]图6为自注意力单元获得第三目标特征图的过程示意图；
[0025]图7为本申请实施例提供的分块压缩操作的示意图；
[0026]图8为注意力计算子单元的处理过程示意图；
[0027]图9为本申请实施例提供的模型训练方法的流程示意图；
[0028]图10为本申请实施例提供的获得样本掩膜图像及样本病灶轮廓图像的示意图；
[0029]图11为图9中步骤S230包括的子步骤的流程示意图；
[0030]图12为获得边界损失的过程示意图；
[0031]图13为本申请实施例提供的模型训练装置的方框示意图。
[0032]图标：100
‑
电子设备；110
‑
存储器；120
‑
处理器；130
‑
通信单元；200
‑
乳腺病灶分割装置；210
‑
U
‑
Net网络；211
‑
下采样网络；213
‑
上采样网络；220
...

【技术保护点】

【技术特征摘要】
1.一种乳腺病灶分割装置，其特征在于，所述装置包括连接的U
‑
Net网络及至少一个自注意力单元，所述U
‑
Net网络包括多个下采样单元及多个上采样单元，所述U
‑
Net网络，用于根据待分析的乳腺超声图像，得到乳腺病灶分割掩膜；各所述自注意力单元，用于基于自注意力机制，根据所连接的所述下采样单元输出的第一目标特征图及输入至所连接的所述上采样单元的第二目标特征图，得到第三目标特征图，并将所述第三目标特征图输入到所连接的所述上采样单元；任一个所述自注意力单元所连接的所述下采样单元及所连接的所述上采样单元位于同层；各所述自注意力单元基于样本轮廓图像与该自注意力单元的输出图像的边界损失训练得到。2.根据权利要求1所述的装置，其特征在于，一个所述自注意力单元位于U
‑
Net网络的最底层级联位置。3.根据权利要求1或2所述的装置，其特征在于，所述装置还包括至少一个预处理单元，所述自注意力单元包括预处理子单元、注意力计算子单元及处理子单元，所述预处理单元，用于对所述第一目标特征图及所述第二目标特征图进行求和计算，得到待处理图像；所述预处理子单元，用于将所述待处理图像分割成尺寸相同的多个图像块，并获得每个图像块的特征向量；所述注意力计算子单元，用于基于自注意力机制，根据所述每个图像块的特征向量，得到第三初始目标特征图；所述处理子单元，用于对所述第三初始目标特征图进行上采样，得到所述第三目标特征图。4.根据权利要求3所述的装置，其特征在于，所述注意力计算子单元用于基于聚焦自注意力机制获得所述得到第三初始目标特征图，所述注意力计算子单元具体用于：将第三特征图划分为尺寸相同的多个网格，其中，所述第三特征图为根据所述每个图像块的特征向量确定的图像；将各网格作为一个子窗口，针对各子窗口，在不同等级下分别进行子窗口池化，得到各等级下的池化结果，其中，等级高低与子窗口池化对应的感受野大小及池化窗口大小正相关；针对各子窗口，根据该子窗口计算得到查询向量，并根据该子窗口对应的所述各等级下的池化结果计算得到键向量及值向量；基于多头注意力机制，根据各子窗口对应的查询向量、键向量及值向量，得到所述第三初始目标特征图。5.根据权利要求4所述的装置，其特征在于，在获得所述第三初始目标特征图时使用的计算公式为：其中，Q
i
表示查询矩阵，K
i
表示键矩阵，V
i
表示值矩阵，B表示位置偏移...

【专利技术属性】
技术研发人员：孟慧，赵皓辰，李青锋，谷宁波，牛建伟，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：