一种基于图卷积神经网络的交互式医学图像分割方法及系统技术方案

本发明专利技术公开了一种基于图卷积神经网络的交互式医学图像分割方法及系统，以用户交互和算法协同进行图像分割，使用预分割和交互式分割两个阶段来达到满意的分割结果，通过图卷积神经网络模型对对象轮廓进行建模进而实现医学图像的交互式分割。该方法可以解决在缺乏训练数据场景下的医学图像分割、交互式分割过程中交互的不灵活性以及不同尺寸的医学图像对分割结果影响的问题。通过初始化曲线采样得到的控制点数是能够动态适应不同分割区域的，更加方便用户进行后续的交互式分割，可以适应不同类型的医学图像，同时在交互式分割过程中还可以自适应用户的交互。可以自适应用户的交互。可以自适应用户的交互。

【技术实现步骤摘要】
一种基于图卷积神经网络的交互式医学图像分割方法及系统


[0001]本专利技术属于医学图像分割领域，具体涉及一种基于图卷积神经网络的交互式医学图像分割方法及系统。

技术介绍

[0002]医学图像中对器官或病变进行准确、鲁棒的分割被广泛应用于诊断、手术规划等临床应用中。目前主要通过人工分割处理，过程不仅费时、繁琐、昂贵，而且严重依赖专业知识，因此，近年来人们提出了很多自动分割方法，然而，全自动方法的分割性能难以满足临床应用，这是因为医学图像具有一些不同于自然图像的固有特征，如低对比度、病理诱导的不均匀性以及患者的差异。
[0003]为了提高分割的鲁棒性和准确性，越来越多的研究者关注医学图像的交互式分割方法。交互式分割方法允许用户利用自己的知识和经验来纠正错误或验证结果，从而得到比自动分割方法更准确的结果。对于一个期望的交互式分割方法来说，用户需要使用较少的交互次数来获得更准确的结果，用户也可以轻松地干预结果，纠正错误，此外，如果能够充分利用用户有限的先验知识，并且能够适应交互场景的变化，同时不依赖于大量的标注数据进行预训练，则会更好。然而，大多数现有的交互分割方法都难以满足这些期望。
[0004]根据采用的方法，交互式分割方法可以分为传统方法和基于深度学习的方法。传统的交互式分割方法主要利用图像的底层特征，忽略了一些有利于图像分割的高级语义特征，因此，对于前景与背景对比度较低的图像，他们很难得到准确的结果。近年来，深度神经网络结构被广泛应用于计算机视觉任务，包括图像分割，然而基于深度学习的交互式分割方法依赖于训练的过程，并且很大程度上受到场景变化带来的差异的影响。
[0005]不同于自动分割方法，如何设计人机交互对交互式分割方法的性能有重要影响。大多数现有的交互式方法都要求用户提供交互信息，如矩形框、涂鸦和点击等。大多数基于矩形框的方法要求用户提供一个包含目标对象的矩形框，对于基于涂鸦的方法，支持两种类型的涂鸦来标记图像中的前景和背景信息，在基于单击的方法的情况下，用户只需要通过单击鼠标来进行交互。

技术实现思路

[0006]本专利技术的目的在于提供一种基于图卷积神经网络的交互式医学图像分割方法及系统，以克服现有技术中自动分割精度低，人工交互分割效率低的问题。
[0007]一种基于图卷积神经网络的交互式医学图像分割方法，包括以下步骤：
[0008]S1，将待分割的原始医学图像加载并可视化，在原始图像上提供初始交互点；
[0009]S2，采用B样条曲线插值法对目标分割区域的初始交互点处理得到一个闭合曲线，通过在曲线上等步长采样得到一组分割区域轮廓的控制点，得到预分割结果；
[0010]S3，针对预分割结果不满意的区域进行交互式分割，基于图卷积的神经网络模型基于交互式分割的交互信息进行实时学习并且预测周围控制点的偏移，持续交互直到分割
达到满意的结果，即得到最终控制点；
[0011]S4，将最终控制点使用B样条曲线插值成一个闭合曲线，通过闭合曲线提取得到目标区域的最终分割结果。
[0012]优选的，初始交互点为目标分割区域的边界点或极值点。
[0013]优选的，将待分割的原始医学图像加载到可视化界面中；通过点击加载到界面中的图像的极值点位置，获取初始交互点的坐标信息；将获得的初始交互点的坐标转换为医学图像的相对坐标。
[0014]优选的，初始交互点包括目标分割区域的四个极值点。
[0015]优选的，四个极值点构成的集合定义为：
[0016]V＝{v
O
，v1，v2，v3}
[0017]式中v代表集合中点的坐标，表示为v＝(x，y)，将集合V中的第一个元素追加到集合末尾，得到一个新的集合V
′
：
[0018]V
′
＝{v0，v1，v2，v3，v0}
[0019]基于集合V
′
，使用B样条插值算法得到一条闭合曲线作为预分割结果，将初始分割的轮廓定义为：
[0020]C＝{v
i
|i＝0，...，n}
[0021]在初始轮廓的基础上，通过相同的采样步长生成控制点，得到一组轮廓控制点集合：
[0022]P＝{v
s*i
|i＝0，...，t，s*t≤n}
[0023]式中s即采样的步长，t+1就是最终的到的控制点个数。
[0024]优选的，通过点击正确的边界位置进行交互，此时会将距离点击点最近的控制点作为需要修正的点，将点击点作为正确的移动终点，然后进行预测。
[0025]优选的，通过拖拽控制点的方式进行交互，此时被拖拽的控制点将会更新到拖拽的终点位置，然后进行预测。
[0026]优选的，基于用户交互信息，生成标签作为模型学习的监督信息；每个控制点的标签是坐标偏移量：
[0027]Δx＝x1‑
x0[0028]Δy＝y1‑
y0[0029]式中将偏移量定义为更新后坐标减去原始坐标，通过原始坐标(x0，y0)和更新后坐标(x1，y1)求得偏移量(Δx，Δy)，用户提供的交互点通过此公式计算出偏移量用于模型学习，然后预测出交互点周围左右各四个控制点的偏移量，得到偏移量后结合原始坐标可以计算出更新后的坐标：
[0030]x
′
＝x+Δx
[0031]y
′
＝y+Δy
[0032]式中(Δx,Δy)是算法预测得到的偏移量，(x,y)是原始控制点坐标，相加可以求得更新后的坐标(x
′
,y
′
)。
[0033]优选的，用户进行交互后，将交互信息转换为标签信息，在生成标签后，基于图卷积的神经网络模型将使用交互点的标签进行学习，并预测交互点周围的左右各4个顶点的坐标偏移。
[0034]一种基于图卷积神经网络的交互式医学图像分割系统，包括预处理模块和交互分割模块；
[0035]预处理模块，用于将待分割的原始医学图像加载并可视化，在原始图像上提供初始交互点，采用B样条曲线插值法对目标分割区域的初始交互点处理得到一个闭合曲线，通过在曲线上等步长采样得到一组分割区域轮廓的控制点，得到预分割结果；
[0036]交互分割模块，针对预分割结果不满意的区域进行交互式分割，基于图卷积的神经网络模型基于交互式分割的交互信息进行实时学习并且预测周围控制点的偏移，持续交互直到分割达到满意的结果，即得到最终控制点，将最终控制点使用B样条曲线插值成一个闭合曲线，通过闭合曲线提取得到目标区域的最终分割结果。
[0037]与现有技术相比，本专利技术具有以下有益的技术效果：
[0038]本专利技术一种基于图卷积神经网络的交互式医学图像分割方法，以用户交互和算法协同进行图像分割，使用预分割和交互式分割两个阶段来达到满意的分割结果，通过图卷积神经网络模型对对象轮廓进行建模进而实现医学图像的交互式分割。该方法可以解决在缺乏训练数据场景下的医学图像分割、交互式分割本文档来自技高网...

【技术保护点】

【技术特征摘要】
Δy＝y1‑
y0式中将偏移量定义为更新后坐标减去原始坐标，通过原始坐标(x0,y0)和更新后坐标(x1,y1)求得偏移量(Δx,Δy)，用户提供的交互点通过此公式计算出偏移量用于模型学习，然后预测出交互点周围左右各四个控制点的偏移量，得到偏移量后结合原始坐标可以计算出更新后的坐标：x
′
＝x+Δxy
′
＝y+Δy式中(Δx,Δy)是算法预测得到的偏移量，(x,y)是原始控制点坐标，相加可以求得更新后的坐标(x
′
,y
′
)。9.根据权利要求8所述的一种基于图卷积神经网络的交互式医学图像分割方法，其特征在于，用户进行交互后，将交互信息转换为标签信息，在生成标签后，基于图卷...

【专利技术属性】
技术研发人员：田智强，孙磊，郑尧月，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：