医疗影像侦测系统、训练方法以及医疗分析方法技术方案

一种医疗影像侦测系统包含存储器以及处理器。处理器用以执行存储在存储器中的神经网络模型，神经网络模型包含特征提取单元、特征金字塔网络、第一输出端以及第二输出端。特征提取单元用以由医疗影像中提取多个中间张量。特征金字塔网络用以根据中间张量产生多个复合解析度特征图。第一输出端用以根据多个复合解析度特征图产生全域预测。第二输出端用以根据多个复合解析度特征图产生多个局部预测。处理器用以基于医疗影像、全域预测以及局部预测产生输出资讯，藉此降低医疗检查过程中存在目标物件却漏未发现的情况。标物件却漏未发现的情况。标物件却漏未发现的情况。

【技术实现步骤摘要】
医疗影像侦测系统、训练方法以及医疗分析方法


[0001]本公开有关于一种医疗影像侦测系统及训练方法，且特别是有关于一种医疗影像侦测系统其能够产生医疗影像整体观的全域预测以及有关医疗影像中局部区域的局部预测。

技术介绍

[0002]各种医疗影像技术广泛用于诊断患者的疾病或进行健康检查的应用场景，例如，X射线成像、计算机断层(computed tomography,CT)成像以及核磁共振成像(magnetic resonance imaging,MRI)等，上述医疗影像技术可以在诊断癌症、骨折、内出血与其他症状时提供关键资讯。一般来说，需要有经验的医生或专家来查看这些医疗影像技术拍摄到的结果图像，并根据经验判断结果图像是属于正常还是异常情况。
[0003]在各种疾病当中，肺癌是属于世界范围内癌症相关死亡的多个重要原因之一。在医疗影像中所发现的肺部结节(nodule)虽然通常是良性的结节，但却是潜在肺癌的警示信号。由于胸部X光片其操作简单且成本较低，成为目前应用最广泛的胸部医疗影像拍摄方式。由于成像方式本身的特性，采用X射线影像进行胸部检查的一个重要问题是，医疗影像中的结节未被放射科医师辨认出来而错过的比例。由于胸部X光片是患者胸部的二维投影，故当结节被其他器官(例如肋骨)或异物遮挡时，结节在视觉上将难以辨认。并且，随着工作量的增加，对胸部放射科医师而言要精确地辨认结节的存在并不容易，因此需要辅助工具来降低胸部X光片在影像分析过程中的遗漏。

技术实现思路

[0004]本公开的一实施例公开一种医疗影像侦测系统，包含存储器以及处理器。存储器用以存储神经网络模型。处理器耦接存储器，处理器用以执行神经网络模型，神经网络模型包含特征提取单元、特征金字塔网络、第一输出端以及第二输出端。特征提取单元用以由医疗影像中提取多个中间张量，这些中间张量各自分别具有一解析度。特征金字塔网络与特征提取单元连动，特征金字塔网络用以根据中间张量产生多个复合解析度特征图。第一输出端用以根据所述多个复合解析度特征图产生全域预测，全域预测用以表示是否有一目标物件存在于该医疗影像中。第二输出端用以根据所述多个复合解析度特征图产生多个局部预测，所述多个局部预测各自用以表示该医疗影像的一目标物件预测位置，处理器用以基于该医疗影像、该全域预测以及所述多个局部预测产生一输出资讯。
[0005]于一些例子中，所述多个复合解析度特征图其中至少一个是由该特征金字塔网络根据所述多个中间张量其中至少两者所产生，该特征提取单元包含多个卷积层以产生具有不同解析度的所述多个中间张量，所述多个中间张量包含具有一较高解析度的一第一中间张量以及具有一较低解析度的一第二中间张量，该特征金字塔网络用以将该第二中间张量上升取样并与该第一中间张量合并以产生所述多个复合解析度特征图其中一个。
[0006]于一些例子中，该特征提取单元的所述多个卷积层中最后三层为多个可变形卷积
层，所述多个可变形卷积层的多个取样点在所述多个可变形卷积层的多个取样视窗中为不均匀分布。
[0007]于一些例子中，该第二输出端包含区域生成网络、对齐模组以及分类模组。区域生成网络用以在所述多个复合解析度特征图上产生多个兴趣区域位置。对齐模组用以根据所述多个兴趣区域位置从所述多个复合解析度特征图提取多个提议区域。分类模组用以将所述多个提议区域各自分类为一目标群组或一非目标群组，藉以根据经分类属于该目标群组的所述多个提议区域产生所述多个局部预测。
[0008]于一些例子中，第一输出端包含多个卷积层、一线性层以及一激励层，该激励层用以产生该全域预测。
[0009]于一些例子中，医疗影像包含有关胸部、腹部或头部的X光影像、计算机断层影像或核磁共振造影影像，目标物件包含结节或肿瘤。
[0010]本公开的另一实施例公开一种训练方法，适用于训练由一医疗影像侦测系统所执行的一神经网络模型。该训练方法包含：提供一医疗影像以及有关该医疗影像的一训练基础事实；对该医疗影像进行一第一影像扩增，以产生一第一扩增医疗影像；对该医疗影像进行一第二影像扩增，以产生一第二扩增医疗影像；根据该第一扩增医疗影像由该神经网络模型的一第一输出端产生一全域预测；根据该第二扩增医疗影像由该神经网络模型的一第二输出端产生多个局部预测；通过将该全域预测与该训练基础事实比较，计算一全域损失；通过将所述多个局部预测与该训练基础事实比较，计算一局部损失；以及根据该全域损失以及该局部损失以反向传递方式更新该神经网络模型。
[0011]于一些例子中，神经网络模型包含特征提取单元、特征金字塔网络、第一输出端以及第二输出端。特征提取单元用以由该第一扩增医疗影像以及该第二扩增医疗影像提取多个中间张量。特征金字塔网络与该特征提取单元连动，用以根据所述多个中间张量产生多个第一复合解析度特征图以及多个第二复合解析度特征图。
[0012]于一些例子中，第一影像扩增与该第二影像扩增各自是以下列方式进行：由多个候选扩增操作中挑选至少一扩增操作；以及将被选出的该至少一扩增操作套用在该医疗影像上，以产生该第一扩增医疗影像或该第二扩增医疗影像。
[0013]于一些例子中，训练方法在进行该第一影像扩增与该第二影像扩增时，是分别地选出并套用相异的扩增操作。
[0014]本公开的另一实施例公开一种医疗分析方法，适用于执行一神经网络模型的一医疗影像侦测系统，医疗分析方法包含：取得一医疗影像；利用该神经网络模型的一特征提取单元，由该医疗影像提取多个中间张量，所述多个中间张量各自分别具有一解析度；利用该神经网络模型的一特征金字塔网络，根据所述多个中间张量产生多个复合解析度特征图；利用该神经网络模型的一第一输出端，根据所述多个复合解析度特征图产生一全域预测，该全域预测用以表示是否有一目标物件存在于该医疗影像中；利用该神经网络模型的一第二输出端，根据所述多个复合解析度特征图产生多个局部预测，所述多个局部预测各自用以表示该医疗影像的一目标物件预测位置；以及，基于该医疗影像、该全域预测以及所述多个局部预测产生一输出资讯。
[0015]医疗影像侦测系统以及医疗分析方法可以作为辅助工具，以此降低胸部放射检查过程中存在结节却漏未发现的情况。训练方法提供了双头扩增架构，用以对两个输出端分
别地进行两种扩增操作，藉此训练第一输出端与第二输出端的不同扩增操作可以分别进行优化。
附图说明
[0016]图1示出了根据本公开的一些实施例中一种医疗影像侦测系统的示意图；
[0017]图2示出了根据本公开文件的一些实施例中神经网络模型的架构的示意图；
[0018]图3示出了根据本公开文件的一些实施例中神经网络模型对应医疗影像所产生的全域预测与多个局部预测的示意图；
[0019]图4示出了根据本公开文件的一些实施例中图1及图2中的医疗影像侦测系统及神经网络模型所执行的医疗分析方法的流程图；
[0020]图5示出了根据本公开文件的一些实施例在图2中的特征提取单元的内部架构的示意图；
[0021]图6A、图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医疗影像侦测系统，其特征在于，该医疗影像侦测系统包含：一存储器，用以存储一神经网络模型；以及一处理器，耦接该存储器，该处理器用以执行该神经网络模型，该神经网络模型包含：一特征提取单元，用以由一医疗影像中提取多个中间张量，所述多个中间张量各自分别具有一解析度；一特征金字塔网络，与该特征提取单元连动，用以根据所述多个中间张量产生多个复合解析度特征图；一第一输出端，用以根据所述多个复合解析度特征图产生一全域预测，该全域预测用以表示是否有一目标物件存在于该医疗影像中；以及一第二输出端，用以根据所述多个复合解析度特征图产生多个局部预测，所述多个局部预测各自用以表示该医疗影像的一目标物件预测位置，其中该处理器用以基于该医疗影像、该全域预测以及所述多个局部预测产生一输出资讯。2.如权利要求1所述的医疗影像侦测系统，其中所述多个复合解析度特征图其中至少一个是由该特征金字塔网络根据所述多个中间张量其中至少两者所产生，该特征提取单元包含多个卷积层以产生具有不同解析度的所述多个中间张量，所述多个中间张量包含具有一较高解析度的一第一中间张量以及具有一较低解析度的一第二中间张量，该特征金字塔网络用以将该第二中间张量上升取样并与该第一中间张量合并以产生所述多个复合解析度特征图其中一个。3.如权利要求2所述的医疗影像侦测系统，其中该特征提取单元的所述多个卷积层中最后三层为多个可变形卷积层，所述多个可变形卷积层的多个取样点在所述多个可变形卷积层的多个取样视窗中为不均匀分布。4.如权利要求1所述的医疗影像侦测系统，其中该第二输出端包含：一区域生成网络，用以在所述多个复合解析度特征图上产生多个兴趣区域位置；一对齐模组，用以根据所述多个兴趣区域位置从所述多个复合解析度特征图提取多个提议区域；以及一分类模组，用以将所述多个提议区域各自分类为一目标群组或一非目标群组，藉以根据经分类属于该目标群组的所述多个提议区域产生所述多个局部预测。5.如权利要求1所述的医疗影像侦测系统，其中该第一输出端包含多个卷积层、一线性层以及一激励层，该激励层用以产生该全域预测。6.如权利要求1所述的医疗影像侦测系统，其中该医疗影像包含有关一胸部、一腹部或一头部的一X光影像、一计算机断层影像或一核磁共振造影影像，该目标物件包含一...

【专利技术属性】
技术研发人员：蔡承翰，彭宇劭，
申请(专利权)人：宏达国际电子股份有限公司，
类型：发明
国别省市：