用于图像分割和识别的方法和系统技术方案

本发明专利技术涉及一种用于图像分割和识别的方法和系统，该系统包括：训练子系统，其配置为利用包含与相应的分割注释相关联的图像的带注释的训练数据来训练分割机器学习模型，从而生成训练的分割机器学习模型；模型评估器；分割子系统，其配置为利用经过训练的分割机器学习模型对图像中的结构或材料进行分割。模型评估器配置为通过以下评估分割机器学习模型i)对分割子系统进行控制以利用分割机器学习模型对与现有的分割注释相关联的至少一个评估图像进行分割，从而生成带注释的评估图像的分割，ii)形成带注释的评估图像的分割与现有的分割注释的比较；如果比较表明分割机器学习模型是令人满意的，则部署或释放训练的分割机器学习模型以供使用。

【技术实现步骤摘要】
用于图像分割和识别的方法和系统与相关申请的交叉引用本申请基于2019年6月21日提交的第16/448,252号美国专利申请，并要求其优先权，该申请提交的内容通过引用全部并入本文。
本专利技术涉及一种用于图像分割和识别的方法和系统，在医学图像(如，骨骼和其他解剖结构、肿块、组织、标志、病变和病理)的分割和识别以及在医学成像模式中具有特殊但并非唯一的应用，医学成像模式包括：计算机断层扫描(CT)、磁共振(MR)、超声和病理扫描仪成像。本专利技术还涉及对于训练用于分割和识别的机器学习模型的医学图像数据自动注释的方法和系统，以及评估和改进机器学习模型。
技术介绍
定量分析和疾病诊断需要医学图像的准确分割和识别。分割是从医学图像的背景中描绘医学图像中的对象(例如，解剖结构或组织)的过程。识别是辨认对象并正确标记它的过程。通常，分割和识别是手动或半手动进行的。手动方法需要在该领域有足够知识的专家来绘制目标对象的轮廓并标记提取的对象。也有计算机辅助系统提供半手动分割和识别。例如，这样的系统可以基于选择的参数(其包括强度、边缘、2D/3D曲率、形状或其它2D/3D几何特征)来检测感兴趣的对象的近似轮廓。然后，专家对分割或识别手动地精细化。或者，专家可以向这样的系统提供输入数据，例如，目标对象的近似位置；然后计算机辅助系统执行分割和识别。手动和半手动方法都是劳动密集型和耗时的。此外，结果的质量在很大程度上取决于专家的专业知识。根据操作员/专家的不同，生成的已分割和识别对象可能会出现显著变化。在过去的几年中，机器学习，特别是深度学习(例如，深度神经网络或深度卷积神经网络)在许多视觉识别任务中，包括在医学成像中，都超过了人类。WO2018/015414A1公开一种基于人工智能的医学图像分割方法和系统。该方法包括：接收患者的医学图像，基于医学图像自动确定当前分割上下文，以及基于当前分割上下文从多个分割算法中自动选择至少一个分割算法。利用所选择的至少一个分割算法在医学图像中分割目标解剖结构。美国专利申请公开号2018/0240235A1公开一种目标患者图像的分割方法，其包括：提供3D解剖图像的目标2D切片和最近邻2D切片，并通过经过训练的多切片全卷积神经网络(multi-sliceFCN)计算包括定义的在空间上延伸穿过目标2D切片和最近邻2D切片的体内解剖特征的分割区域，其中，基于从3D解剖图像中提取的2D切片的顺序、根据目标2D切片的顺序和最近邻2D切片的顺序、由多切片FCN的连续收缩组件的对应收缩组件来处理目标2D切片和最近邻2D切片中的每一个，其中，连续的收缩组件的输出由输出目标2D切片的分割掩码的单个扩张组件进行组合和处理。美国专利号9589974公开一种将深度卷积神经网络应用于医学图像以生成实时或近实时诊断或诊断建议的系统和方法。该方法包括：对多个医学图像进行图像分割，图像分割包括从每个图像中分离感兴趣区域；对已分割图像应用级联深度卷积神经网络检测结构，所述检测结构包括：i)第一阶段，其采用第一卷积神经网络、通过滑动窗口方法来筛选已分割医学图像的每个2D切片中的所有可能位置，以识别一个或多个候选位置；以及ii)第二阶段，其利用第二卷积神经网络、通过在具有随机比例和随机视角的每个体积内选择至少一个随机位置以识别一个或多个精细位置并对精细位置进行分类，来筛选根据候选位置构建的3D体积；以及自动生成包含诊断或诊断建议的报告。然而，在将这些技术应用于医学图像的分割和识别方面存在一些问题：机器学习算法需要参考标准(groundtruth)数据进行训练和验证，但该数据是由人类专家对数据进行注释而生成的，既费时又昂贵；机器学习模型的改进理想地应对了错误结果的增加(例如，当经过训练的模型在医学图像分割或识别中失败时)，但是难以有效地管理训练和重新训练过程；在某些生物医学应用中，难以或不可能获得大量的训练图像(理想情况下超过1000个)，而且利用有限的训练数据，难以有效地训练分割和识别模型。
技术实现思路
本专利技术的目的是提供一种可以集成注释的分割系统。根据第一方面，本专利技术提供一种图像分割系统，其包括：训练子系统，其配置为利用包含与相应的分割注释相关联的图像(比如，医学图像)的带注释的训练数据来训练分割机器学习模型，从而生成经过训练的分割机器学习模型；模型评估器；以及分割子系统，其配置为利用经过训练的分割机器学习模型对图像中的结构或材料(其包括例如，骨骼、肌肉、脂肪或其他生物组织)进行分割；其中，所述模型评估器配置为通过以下方式评估分割机器学习模型(i)对分割子系统进行控制以利用分割机器学习模型对与现有的分割注释相关联的至少一个评估图像进行分割，从而生成带注释的评估图像的分割，以及(ii)形成带注释的评估图像的分割与现有的分割注释的比较；以及如果比较表明分割机器学习模型是令人满意的，则部署或释放经过训练的分割机器学习模型以供使用。因此，模型评估器利用所使用的分割子系统来评估分割机器学习模型，以执行分割，从而提供集成的训练和分割系统。在一个实施方案中，所述系统配置为如果带注释的评估图像的分割和现有的分割注释在预定义阈值内一致，则部署或释放模型以供使用。在一个实施方案中，其中，所述系统配置为如果带注释的评估图像的分割和现有的分割注释在预定义阈值内不一致，则继续训练模型。在一个示例中，系统配置为通过修改模型算法和/或添加另外的带注释的训练数据来继续训练模型。这允许将预定义的阈值调整到所需的应用，并在初始调整不令人满意时进行精细化。在一个实施方案中，所述训练子系统配置为：接收(i)图像和用于图像的注释(可选地，可以由分割子系统利用分割机器学习模型而生成其部分)，以及(ii)与注释相关联的分数，该分数表示分割机器学习模型在分割图像时的成功或失败程度，其中较高的分数表示失败，较低的权重表示成功；以及利用图像和注释重新训练或精细化分割机器学习模型，包括根据分数对图像的注释进行加权。因此，分割机器学习模型可以在部署之前或期间被继续重新训练或精细化。应当注意，图像的注释可以包括多个注释信息项，并且可选地，注释的部分可以由利用分割机器学习模型的分割子系统生成。在一个实施方案中，训练子系统通过精细化或修改现有的分割机器学习模型来生成分割机器学习模型。在一个实施方案中，所述系统包括注释子系统，其配置为通过为不带注释或部分注释的图像生成一个或多个候选图像注释，接收识别所述一个或多个候选图像注释中的一个或多个部分(其中，部分可以构成全部的候选图像注释)的输入，并且至少根据所述一个或多个部分形成带注释的训练图像，从而根据不带注释或部分注释的图像形成带注释的训练图像(即，具有分割注释的相应图像)中的至少一个。在一个示例中，注释子系统配置为利用a)非机器学习图像处理方法或b)分割机器学习模型来生成候选图像注释中的至少一个。因此，注释子系统可以用于指示注释(其可由非机器学习图像处理方法生成)的优点，使得本文档来自技高网...

【技术保护点】
1.一种图像分割系统，其包括：/n训练子系统，其配置为利用包含与相应分割注释相关联的图像的带注释的训练数据来训练分割机器学习模型，从而生成经过训练的分割机器学习模型；/n模型评估器；以及/n分割子系统，其配置为利用经过训练的分割机器学习模型对图像中的结构或材料进行分割；/n其中，所述模型评估器配置为通过以下方式评估分割机器学习模型/ni)对分割子系统进行控制以利用分割机器学习模型对与现有的分割注释相关联的至少一个评估图像进行分割，从而生成带注释的评估图像的分割，以及/nii)形成带注释的评估图像的分割与现有的分割注释的比较；以及/n如果比较表明分割机器学习模型是令人满意的，则部署或释放经过训练的分割机器学习模型以供使用。/n

【技术特征摘要】
20190621 US 16/448,2521.一种图像分割系统，其包括：
训练子系统，其配置为利用包含与相应分割注释相关联的图像的带注释的训练数据来训练分割机器学习模型，从而生成经过训练的分割机器学习模型；
模型评估器；以及
分割子系统，其配置为利用经过训练的分割机器学习模型对图像中的结构或材料进行分割；
其中，所述模型评估器配置为通过以下方式评估分割机器学习模型
i)对分割子系统进行控制以利用分割机器学习模型对与现有的分割注释相关联的至少一个评估图像进行分割，从而生成带注释的评估图像的分割，以及
ii)形成带注释的评估图像的分割与现有的分割注释的比较；以及
如果比较表明分割机器学习模型是令人满意的，则部署或释放经过训练的分割机器学习模型以供使用。


2.根据权利要求1所述的图像分割系统，其中，所述系统配置为如果带注释的评估图像的分割和现有的分割注释在预定义阈值内一致，则部署或释放模型以供使用。


3.根据权利要求1或2所述的图像分割系统，其中，所述系统配置为如果带注释的评估图像的分割和现有的分割注释在预定义阈值内不一致，则继续训练模型。


4.根据前述权利要求中的任一项所述的图像分割系统，其中，所述训练子系统配置为：
接收
i)图像和用于图像的注释，以及
ii)与注释相关联的分数，所述分数表示分割机器学习模型在分割图像时的成功或失败程度，其中较高的分数表示失败，较低的权重表示成功；以及
利用图像和注释重新训练或精细化分割机器学习模型，包括根据分数对图像的注释进行加权。


5.根据前述权利要求中任一项所述的图像分割系统，其中，训练子系统通过精细化或修改现有的分割机器学习模型来生成分割机器学习模型。


6.根据前述权利要求中任一项所述的图像分割系统，其包括注释子系统，所述注释子系统配置为通过为不带注释或部分注释的图像生成一个或多个候选图像注释，接收识别一个或多个候选图像注释中的一个或多个部分的输入，以及至少根据一个或多个部分形成带注释的训练图像，从而根据不带注释或部分注释的图像形成带注释的训练图像中的至少一个。


7.根据前述权利要求中任一项所述的图像分割系统，其进一步包括识别子系统，其中，带注释的训练数据进一步包括标识注释，以及
a)分割机器学习模型是分割和识别机器学习模型；或者
b)所述训练子系统进一步配置为：i)一旦通过分割机器学习模型分割完相应的图像就利用带注释的训练数据和ii)利用标识注释来训练识别机器学习模型。


8.根据前述权利要求中任一项所述的图像分割系统，其中，所述训练子系统包括模型训练器，所述模型训练器配置为利用机器学习来训练分割机器学习模型以确定图像上每个像素/体素的类别。


9.一种计算机实现的图像分割方法，其包括：
利用包含相应的图像和分割注释的带注释的训练数据来训练分割机器学习模型，从而生成经过训练的分割机器学习模型；
通过如下评估分割机器学习模型：
i)利用分割机器学习模型对与现有的分割注释相关联的至少一个评估图像进行分割，从而生成带注释的评估图像的分割，...

【专利技术属性】
技术研发人员：彭宇，
申请(专利权)人：斯特拉克斯私人有限公司，
类型：发明
国别省市：澳大利亚;AU