图像分割系统及图像分割方法技术方案

图像分割系统具有：注意力热力图生成部，分别根据作为患者的目标病变的不同模态的扫描图像的第一图像和扫描图像的第二图像，生成第一注意力热力图和第二注意力热力图，第一注意力热力图的各像素表示在进行图像分割时给予第一图像中的相同位置的像素的关注程度，第二注意力热力图的各像素表示在进行图像分割时给予第二图像中的相同位置的像素的关注程度；差异值计算部，计算表示第一注意力热力图和第二注意力热力图的差异的注意力差异图像；以及第一神经网络，至少基于第一图像和由差异值计算部生成的注意力差异图像，对第二图像进行图像分割，取得第二图像的分割结果。取得第二图像的分割结果。取得第二图像的分割结果。

【技术实现步骤摘要】
图像分割系统及图像分割方法


[0001]本专利技术涉及图像分割系统及图像分割方法。

技术介绍

[0002]为了掌握癌症患者的病情，需要对患者进行肿瘤的治疗效果的评估。作为肿瘤治疗效果的评估标准可以举出RECIST(Response Evaluation Criteria in Solid Tumors，实体肿瘤反应评估标准)，RECIST将患者的目标病变分类为完全缓解(Complete Response)、部分缓解(Partial Response)、疾病稳定(Stable Disease)、疾病进展(Progressive Disease)中的某一个。在RECIST中，需要确定患者的目标病变与前一阶段相比是否出现了新的肿瘤，目前这一检测过程主要由医生通过手动对比当前阶段与前一阶段的扫描图像来进行。
[0003]在以往的技术中，存在使用深度学习技术，基于患者的目标病变的扫描图像自动进行肿瘤检测的技术。但是，相对于基于深度学习的器官检测技术，基于深度学习的肿瘤检测技术的精度通常较低，尤其对于小型的肿瘤，经常存在不能正确地划分出肿瘤区域的情况，因此传统的使用深度学习技术进行肿瘤检测的技术难以直接应用于例如RECIST等肿瘤治疗效果的评估。
[0004]为了解决该问题，提出了使用级联神经网络的分割网络，首先将扫描图像输入至低分辨率的第一分割网络取得图像分割结果，之后将该分割结果与扫描图像一同输入至高分辨率的第二分割网络从而取得精度更高的图像分割结果。但是，通过这种方法得到的精度提高仍然是有限的，无法适应肿瘤治疗效果的评估的需求。
[0005]专利文献1公开了一种基于层次卷积神经网络的乳腺癌MRI分割方法，基于增强前图像和对比增强后图像对扫描图像进行图像分割，确定是否存在肿瘤。但是，在该文献中并不能自动地而高精度地检测患者的目标病变与前一阶段相比是否出现了新的肿瘤。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1：CN110796672

技术实现思路

[0009]专利技术要解决的课题
[0010]本专利技术要解决的课题是提供一种图像分割系统及图像分割方法，能够通过比较患者的目标病变的不同扫描图像而自动且精确地检测目标病变是否出现了新的肿瘤。
[0011]用于解决课题的手段
[0012]实施方式的图像分割系统具有：注意力热力图生成部，分别根据作为患者的目标病变的不同模态的扫描图像的第一图像和第二图像，生成第一注意力热力图和第二注意力热力图，所述第一注意力热力图是与所述第一图像相同尺寸的图像，所述第一注意力热力图的各像素表示在进行图像分割时给予所述第一图像中的相同位置的像素的关注程度，所
述第二注意力热力图是与所述第二图像相同尺寸的图像，所述第二注意力热力图的各像素表示在进行图像分割时给予所述第二图像中的相同位置的像素的关注程度；差异值计算部，计算表示所述第一注意力热力图和所述第二注意力热力图的差异的注意力差异图像；以及第一神经网络，至少基于所述第一图像和由所述差异值计算部生成的所述注意力差异图像，对所述第二图像进行图像分割，取得所述第二图像的分割结果。专利技术效果
[0013]根据本专利技术，能够提供一种图像分割系统及图像分割方法，能够通过比较患者的目标病变的不同扫描图像而自动且精确地检测目标病变是否出现了新的肿瘤。
附图说明
[0014]图1是表示实施方式的图像分割系统的结构的一例的图。
[0015]图2是表示实施方式的图像分割方法的流程图。
[0016]图3是表示实施方式的第一图像及第二图像的一例的图。
[0017]图4是表示实施方式的第一注意力热力图及第二注意力热力图的一例的图。
[0018]图5是表示本实施方式的注意力差异图像的一例的图。
[0019]图6是表示本实施方式的第二图像的图像分割的最终结果的一例的图。
[0020]图7是比较本实施方式的第一图像和第二图像的像素值差异图像与注意力差异图像的图。
具体实施方式
[0021]下面，参照附图对实施方式的图像分割系统及图像分割方法进行说明。
[0022](第一实施方式)
[0023]图1是表示实施方式的图像分割系统的结构的一例的图。
[0024]图像分割系统1具有通信部11、输入部12、显示部13、存储部14、图像分割部15。通信部11、输入部12、显示部13、存储部14、图像分割部15例如通过未图示的总线相互可通信地连接。
[0025]通信部11例如包括NIC等通信接口。通信部11能够通过网络与外部设备进行通信，发送接收各种信息。通信部11可以将接收到的信息输出给图像分割部15。通信部11可以将图像分割部15的信息向通过网络连接的外部装置发送。
[0026]输入部12例如受理医生和专家等用户的输入操作，将基于受理的输入操作的信号输出给图像分割部15。例如，输入部12通过鼠标和键盘、轨迹球、开关、按钮、控制杆、触摸屏等来实现。输入部12例如可以通过麦克风等受理声音输入的用户界面来实现。在输入部12是触摸屏的情况下，后述的显示部13可以与输入部12形成为一体。
[0027]显示部13显示各种信息。例如，显示部13显示通过图像分割部15生成的图像，并显示用于受理来自操作者的输入操作的GUI(Graphical User Interface，图形用户界面)等。例如，显示部13是LCD(Liquid Crystal Display，液晶显示器)或有机EL(Electroluminescence，电致发光)显示器等。
[0028]存储部14例如通过ROM、闪存、RAM(Random Access Memory，随机存取存储器)、HDD(Hard Disc Drive，硬盘)、SSD(Solid State Drive，固态驱动)、寄存器等存储装置来实现。闪存和HDD、SSD等是非易失性的存储介质。这些非易失性的存储介质可以通过NAS
(Network Attached Storage，网络附加存储)和外部存储服务器装置等经由网络连接的其他存储装置来实现。在存储部14存储有构建神经网络所需的数据，关于这些在后面进行说明。
[0029]图像分割部15基于患者的目标病变的前一阶段与当前阶段的扫描图像，对患者的目标病变的当前阶段的扫描图像进行图像分割。在本专利技术中，图像分割是指对扫描图像中的每一个像素进行分类而生成包含了各像素的分类信息的图像分割结果，其中分类的类别至少包括“肿瘤”及“器官”、“背景”这三个类别。以下，将表示患者的目标病变的前一阶段的扫描图像称为第一图像，将表示患者的目标病变的当前阶段的扫描图像称为第二图像。图像分割部15具有注意力热力图生成部151、差异值计算部152、第一深度学习部153、后处理部154。
[0030]图像分割部15的各个构成要素可以通过由CPU和GPU等硬件处理器执行在存储部14存储的程序(软件)来实现。这些多个构成要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割系统，用于对扫描图像进行图像分割，其具有：注意力热力图生成部，分别根据作为患者的目标病变的不同模态的扫描图像的第一图像和第二图像，生成第一注意力热力图和第二注意力热力图，所述第一注意力热力图是与所述第一图像相同尺寸的图像，所述第一注意力热力图的各像素表示在进行图像分割时给予所述第一图像中的相同位置的像素的关注程度，所述第二注意力热力图是与所述第二图像相同尺寸的图像，所述第二注意力热力图的各像素表示在进行图像分割时给予所述第二图像中的相同位置的像素的关注程度；差异值计算部，计算表示所述第一注意力热力图和所述第二注意力热力图的差异的注意力差异图像；以及第一神经网络，至少基于所述第一图像和由所述差异值计算部生成的所述注意力差异图像，对所述第二图像进行图像分割，取得所述第二图像的分割结果。2.根据权利要求1所述的图像分割系统，其中，所述注意力热力图生成部包括进行图像分割的第二神经网络和映射部，所述第二神经网络对所述第一图像及所述第二图像进行图像分割，取得所述第一图像的分割结果和第一中间数据以及所述第二图像的分割结果和第二中间数据，所述第一中间数据和所述第二中间数据分别是在计算所述第一图像的分割结果和所述第二图像的分割结果时在神经网络的各层中生成的中间数据，所述映射部使用由所述第二神经网络取得的所述第一图像的分割结果和所述第一中间数据，基于所述第二神经网络通过类激活映射或梯度类激活映射生成所述第一注意力热力图，所述映射部根据由所述第二神经网络取得的所述第二图像的分割结果和所述第二中间数据，基于所述第二神经网络通过类激活映射或梯度类激活映射生成所述第二注意力热力图。3.根据权利要求1或2所述的图像分割系统，其中，所述差异值计算部分别对所述第一注意力热力图和所述第二注意力热力图进行归一化处理并...

【专利技术属性】
技术研发人员：韩冰，孟凡洁，许奇齐，岳野，李梦璋，
申请(专利权)人：佳能医疗系统株式会社，
类型：发明
国别省市：