革兰染色图像的目标识别与分割预训练方法及系统技术方案

本发明专利技术提出了一种革兰染色图像的目标识别与分割预训练方法及系统，属于数字图像处理技术领域。针对医疗图像标注难度大、训练欠拟合或过拟合等问题，该目标识别与分割预训练方法结合海量未标注数据及循环式预训练框架，以此提升模型泛化性能，达到了可提高模型泛化性能的效果，并且通过减少医疗图像标注数据不足对模型性能的影响，显著提高了从医生标注数据到算法效率提升的成果转化能力。到算法效率提升的成果转化能力。到算法效率提升的成果转化能力。

【技术实现步骤摘要】
革兰染色图像的目标识别与分割预训练方法及系统


[0001]本专利技术属于数字图像处理
，涉及一种革兰染色图像的目标识别与分割预训练方法及系统。

技术介绍

[0002]革兰染色图像是运用革兰染色法后所得到的细胞图像，用革兰染色法进行感染细菌种类检验是感染性疾病诊断过程中常用的方法。同时革兰染色细胞图像的检测与分析可以帮助医务人员快速确定患者的状态或病情。但对于革兰染色细胞图像中的致病菌种检测与识别十分依赖医生的专业知识与临床经验。传统的人工镜检检测方式不仅耗时长，且对于操作者的专业技能要求高，容易受到客观环境及人为主观因素的影响。在近些年来医学数字图像领域中常采用的计算机视觉、图像处理技术等方法需要人工花费较多时间进行图像预处理及目标特征提取。该方法虽较比人工镜检能够在一定程度上提升目标识别的效率，但受限于所使用的样本类别丰富度及不同类别目标特征提取的难度，无法较好地应对复杂场景下多类目标的识别问题。
[0003]尽管目前医学数字图像领域内的自动识别取得了一定进展，但所采用的主流深度学习模型都需要大量的人工标注数据及清晰的采样细胞图像数据进行训练，才可以达到较高的准确率。若只考虑依靠医务人员的人工识别或人工标注大量致病菌的方式，将容易导致更多的误诊、漏诊病例及更高的成本。因此利用大量未标记数据来提高实例检测与分割的自动识别效果，以此来更好地辅助医生识别与统计致病菌种。这对于帮助医务人员快速诊断病变细胞具有重要的临床意义。

技术实现思路

[0004]本专利技术的目的是克服现有技术的缺点与不足，一种革兰染色图像的目标识别与分割预训练方法及系统。该方法结合海量未标注数据及循环式预训练框架，以此提升模型泛化性能。通过减少医疗图像标注数据不足对模型性能的影响，显著提高了从医生标注数据到算法效率提升的成果转化能力。
[0005]本专利技术的目的可以通过以下方案来实现：
[0006]第一方面，本专利技术提供一种革兰染色图像的目标识别与分割预训练方法，包括以下步骤：
[0007]步骤S1、采集革兰染色图像，对目标图像的目标区域进行标注，将不同类别标注与对应原图分别组成目标识别数据集D1
‑
1、图像分割数据集D1
‑
2，未标注原图另组数据集D1
‑
3；
[0008]步骤S2、分别在数据集D1
‑
1和D1
‑
2上划分训练和验证集，得到目标识别模型M1
‑
1和图像分割模型M1
‑
2；
[0009]步骤S3、分别利用模型M1
‑
1和M1
‑
2推理数据集D1
‑
3，并使用无类别标签转换函数去掉类别信息，得到包含无类别标签的数据集D2；
[0010]步骤S4、在无类别标签数据集D2上划分训练和验证集，得到前景目标识别和分割模型，即预训练模型M2；
[0011]步骤S5、采用Weight Freezing方法固定预训练模型M2的Backbone与分割分支的权重，在数据集D1
‑
1上进行目标识别分支的训练，调整目标识别分支的权重；
[0012]步骤S6、采用Weight Freezing方法固定预训练模型M2的Backbone与目标识别分支的权重，在数据集D1
‑
2上进行图像分割分支的训练，得到最终模型M3；
[0013]步骤S7、通过调整各目标的推理置信度阈值，调节最终模型M3在待识别图像上的检测结果；
[0014]步骤S8、重复步骤S2到步骤S6的预训练框架，使用步骤S7得到的模型重新标注数据集D1
‑
3执行迭代循环优化；
[0015]或，重复步骤S2到步骤S6的预训练框架，使用新的革兰染色图像未标注数据执行迭代循环优化。
[0016]优选地，步骤S1中，根据标注难度将目标区域分为目标框选和目标涂色；其中，目标框选对应目标识别数据集中所使用的标注数据，目标涂色对应图像分割数据集中所使用的标注数据。
[0017]优选地，目标框选类别包括孢子、芽孢、白细胞、滴虫、上皮、基底旁上皮；目标涂色类别包括菌丝、阳性杆菌、阴性杆菌、链球菌、球菌、动弯杆菌、阴阳杆菌。
[0018]优选地，步骤S1中，所述标注为人工标注。
[0019]优选地，步骤S2中，所述划分训练和验证集是使用强力的目标识别Fast R
‑
CNN模型或图像分割Unet模型进行训练，并在验证集上取得最佳检测效果或最佳分割效果，通过设置合适的推理阈值，确保能检测出绝大部分框选目标或涂色目标。
[0020]优选地，所述步骤S3包括如下步骤：
[0021]步骤S3.1：使用模型M1
‑
1及合适的推理阈值推理数据集D1
‑
3，并保存推理后的文本文件，形成数据集D2中的目标识别标注；使用模型M1
‑
2及合适的推理阈值推理数据集D1
‑
3，并保存推理后的Mask图像文件，形成数据集D2中的图像分割标注；
[0022]步骤S3.2：将数据集D2中目标识别标注文本文件内的坐标信息进行归一化，并与Mask图像文件共同组成同一个标注文件；
[0023]步骤S3.3：对步骤S3.2中所得到的标注文件创建无类别标签转换函数去除单个标注文件中的类别信息值，重新保存为无类别信息的标注文件。
[0024]优选地，步骤S4中，所述划分训练和验证集是使用强力的目标识别与图像分割的多任务模型进行训练。所述强力的目标识别与图像分割的多任务模型为本领域常用模型，例如包括但不限于Mask RCNN、OmniDet、MultiTask
‑
CenterNet中的任意一种。
[0025]优选地，步骤S4中，所述前景为存在所标注目标的区域。
[0026]优选地，所述步骤S4包含如下步骤：
[0027]步骤S4.1：将目标识别分支的检测类别设置为2，并调整输出值为目标坐标与类别数，同时将图像分割分支的输出类别数修改为2；
[0028]步骤S4.2：将训练样本与无类别标签数据集D2输入到前景目标识别与分割模型中，确保各分支输出与输入数据相匹配；
[0029]步骤S4.3：分别计算目标识别分支和图像分割分支的损失，并计算这两个损失的
加权平均值；
[0030]步骤S4.4：以步骤S4.3计算得到的加权平均损失作为整体损失函数，对模型进行训练。
[0031]优选地，步骤S5中，调整目标识别分支的权重，直到模型收敛表明该目标识别分支训练完成。
[0032]优选地，步骤S6中，在数据集D1
‑
2上进行图像分割分支的训练，直到模型收敛即该分支训练完成，识别与分割分支都都训练完成后得到最终的模型M3。
[0033]第二方面，本专利技术提供一种革兰染色图像的目标识别与分割预训练方法的系统，所述系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种革兰染色图像的目标识别与分割预训练方法，包括以下步骤：步骤S1、采集革兰染色图像，对目标图像的目标区域进行标注，将不同类别标注与对应原图分别组成目标识别数据集D1
‑
1、图像分割数据集D1
‑
2，未标注原图另组数据集D1
‑
3；步骤S2、分别在数据集D1
‑
1和D1
‑
2上划分训练和验证集，得到目标识别模型M1
‑
1和图像分割模型M1
‑
2；步骤S3、分别利用模型M1
‑
1和M1
‑
2推理数据集D1
‑
3，并使用无类别标签转换函数去掉类别信息，得到包含无类别标签的数据集D2；步骤S4、在无类别标签数据集D2上划分训练和验证集，得到前景目标识别和分割模型，即预训练模型M2；步骤S5、采用Weight Freezing方法固定预训练模型M2的Backbone与分割分支的权重，在数据集D1
‑
1上进行目标识别分支的训练，调整目标识别分支的权重；步骤S6、采用Weight Freezing方法固定预训练模型M2的Backbone与目标识别分支的权重，在数据集D1
‑
2上进行图像分割分支的训练，得到最终模型M3；步骤S7、通过调整各目标的推理置信度阈值，调节最终模型M3在待识别图像上的检测结果；步骤S8、重复步骤S2到步骤S6的预训练框架，使用步骤S7得到的模型重新标注数据集D1
‑
3执行迭代循环优化；或，重复步骤S2到步骤S6的预训练框架，使用新的革兰染色图像未标注数据执行迭代循环优化。2.根据权利要求1所述的方法，其特征在于，步骤S1中，根据标注难度将目标区域分为目标框选和目标涂色；其中，目标框选对应目标识别数据集中所使用的标注数据，目标涂色对应图像分割数据集中所使用的标注数据。3.根据权利要求2所述的方法，其特征在于，目标框选类别包括孢子、芽孢、白细胞、滴虫、上皮、基底旁上皮；目标涂色类别包括菌丝、阳性杆菌、阴性杆菌、链球菌、球菌、动弯杆菌、阴阳杆菌。4.根据权利要求1所述的方法，其特征在于，步骤S2中，所述划分训练和验证集是使用强力的目标识别Fast R
‑
CNN模型或图像分割Unet模型进行训练，并在验证集上取得最佳检测效果或最佳分割效果，通过设置合适的推理阈值，确保能检测出绝大部分框选目标或涂色目标。5.根据权利要求1所述的方法，其特征在于，所述步骤S3包括如下步骤：步骤S3.1：使用模型M1
‑
1及合适的推理阈值推理数据集D1
‑
3，并保存推理后的文本文件，形成数据集D2中的目标识别标注；使用模型M1
‑
2及合适的推理阈值推理数据集D1
‑
3，并保存推理后的Mask图像文件，形成数据集D2中的图像分割标注；步骤S3.2：将数据集D2中目标识别标注文本文件内的坐标信息进行归一化，并与Mask图像文件共同组成同一个标注文件；步骤S3.3：对步骤S3.2中所得到的标注文件创建无类别标签转换函数去除单个标注文件中的类别信息值，重新保存为无类别信息的标注文件。6.根据权利要求1所述的方法，其特征在于，步骤S4中，所述划分训练和验证集是使用强力的目标识别与图像分割的多任务模型进行训练。
7.根据权利要求1所述的方法，其特征在于，所述步骤S4包含如下步骤：步骤S4.1：...

【专利技术属性】
技术研发人员：娄博华，朱慧敏，杨旭，沈海东，刘中华，王国强，
申请(专利权)人：江苏硕世生物科技股份有限公司，
类型：发明
国别省市：