内窥镜图像分类模型的训练方法、图像分类方法和装置制造方法及图纸

一种内窥镜图像分类模型的训练方法、图像分类方法和装置。所述方法包括：获取第一图像集合，所述第一图像集合是通过以第一模态操作的内窥镜获取的一个或多个对象的第一模态影像图像的集合；获取第二图像集合，所述第二图像集合是通过以与第一模态不同的第二模态操作的内窥镜获取的所述一个或多个对象的第二模态影像图像的集合，所述第二模态影像图像与所述第一模态影像图像一一对应；以及将所述第一图像集合和所述第二图像集合作为训练数据集输入到所述内窥镜图像分类模型中，对所述内窥镜图像分类模型进行训练，以获得训练完成的内窥镜图像分类模型。内窥镜图像分类模型。内窥镜图像分类模型。

【技术实现步骤摘要】
内窥镜图像分类模型的训练方法、图像分类方法和装置


[0001]本申请涉及人工智能领域，具体涉及一种基于对比学习的内窥镜图像分类模型的训练方法、内窥镜图像分类方法、装置及计算机可读介质。

技术介绍

[0002]大多数结直肠癌开始于结直肠内膜表面的赘生物，称为息肉，而有些息肉可以发展为癌症。因此，早期发现和识别息肉类型对癌症的预防和治疗至关重要。然而，息肉的视觉分类具有挑战性，不同的内窥镜照明条件，不同的纹理，外观都会导致识别的困难。
[0003]为了减轻医生的负担，有一些工作尝试研究使用深度学习的方式自动化的实现对息肉类型的识别。然而这些工作都是基于全监督的方法，即需要大量标注数据，而标注数据需要消耗的成本是巨大的。此外，它们都仅仅使用了单一模态的数据进行训练，而实际上在医学影像中，不同的模态观察到的信息有差异但都非常重要。
[0004]因此，期望一种改进的内窥镜图像分类模型的训练方法，能够在标注数据有限的情况下，以更好的学习到影像本身的抽象语义级别的特征，同时利用多模态的特征信息。

技术实现思路

[0005]考虑到以上问题而做出了本公开。本公开的一个目的是提供一种基于对比学习的半监督训练内窥镜图像分类模型的训练方法、装置及计算机可读介质。
[0006]本公开的实施例提供了一种基于对比学习的内窥镜图像分类模型的训练方法，所述方法包括：获取第一图像集合，所述第一图像集合是通过以第一模态操作的内窥镜获取的一个或多个对象的第一模态影像图像的集合；获取第二图像集合，所述第二图像集合是通过以与第一模态不同的第二模态操作的内窥镜获取的所述一个或多个对象的第二模态影像图像的集合，所述第二模态影像图像与所述第一模态影像图像一一对应；以及将所述第一图像集合和所述第二图像集合作为训练数据集输入到所述内窥镜图像分类模型中，对所述内窥镜图像分类模型进行训练，以获得训练完成的内窥镜图像分类模型。
[0007]例如，根据本公开的实施例的方法，其中，所述训练方法是半监督的训练方法，所述第一图像集合的第一子集合的图像具有标记内窥镜图像类别的标签，以及所述第一图像集合的其他图像没有标记内窥镜图像类别的标签；以及所述第二图像集合中与所述第一子集合的图像一一对应的第二子集合的图像具有相同的标记内窥镜图像类别的标签，以及所述第二图像集合的其他图像没有标记内窥镜图像类别的标签。
[0008]例如，根据本公开的实施例的方法，其中，所述内窥镜图像分类模型包括：对比学习子模型，所述对比学习子模型包括：第一学习模块，用于接收所述第一图像集合并且学习所述第一图像集合，以获取所述第一图像集合的第一特征表示和第二特征表示；第二学习模块，用于接收所述第二图像集合并且学习所述第二图像集合，以获取所述第二图像集合的第一特征表示和第二特征表示；存储器队列，用于存储第一学习模块生成的第一图像集合的第二特征表示和第二学习模块生成的第二图像集合的第二特征表示；分类器子模型，
包括：第一分类器子模型，用于根据所述第一学习模块生成的第一图像集合的第一特征表示进行分类学习，以生成所述第一图像集合中的每一个图像的分类预测概率分布；第二分类器子模型，用于根据第二学习模块生成的第二图像集合的第一特征表示进行分类学习，以生成所述第二图像集合中的每一个图像的分类预测概率分布。
[0009]例如，根据本公开的实施例的方法，其中，第一学习模块包括依次连接的第一编码器和第一非线性映射器，第二学习模块包括依次连接的第二编码器和第二非线性映射器，其中所述第一编码器和所述第二编码器的结构相同，并且所述第一非线性映射器和所述第二非线性映射器结构相同，第一分类器子模型包括第一分类器，所述第一分类器连接到所述第一编码器的输出端，以及第一分类器子模型包括第二分类器，所述第二分类器连接到所述第二编码器的输出端，其中所述第一分类器和所述第二分类器结构相同。
[0010]例如，根据本公开的实施例的方法，其中，将所述第一图像集合和所述第二图像集合作为训练数据集输入到内窥镜图像分类模型中包括：在每次迭代训练时：从所述第一图像集合中选取第一批次的第一模态影像图像，并输入到所述第一学习模块中；以及从所述第二图像集合中选取与所述第一批次的第一模态影像图像一一对应的第二批次的第二模态影像图像，并输入到所述第二学习模块中。
[0011]例如，根据本公开的实施例的方法，其中，对所述内窥镜图像分类模型进行训练，以获得训练完成的内窥镜图像分类模型包括：对所述内窥镜图像分类模型进行训练，直到所述内窥镜图像分类模型的联合损失函数收敛，以获得训练完成的内窥镜图像分类模型。
[0012]例如，根据本公开的实施例的方法，其中对所述内窥镜图像分类模型进行训练，直到所述内窥镜图像分类模型的联合损失函数收敛包括：利用所述对比学习子模型进行无监督的对比学习，以针对所述第一批次的第一模态影像图像生成第一批次的第一特征表示和第一批次的第二特征表示，并针对所述第二批次的第二模态影像图像生成第二批次的第一特征表示和第二批次的第二特征表示；基于先进先出的规则，将所述第一批次的第二特征表示和所述第二批次的第二特征表示存储到所述存储器队列中；利用所述分类器子模型进行分类训练，以针对所述第一批次的第一模态影像图像中的每一个图像生成第一分类预测概率分布，从而得到第一批次的第一分类预测概率分布，并针对所述第二批次的第二模态影像图像中的每一个图像生成第二分类预测概率分布，从而得到第二批次的第二分类预测概率分布；基于所述第一批次的第二特征表示和所述第二批次的第二特征表示以及所述第一批次的第一分类预测概率分布和所述第二批次的第二分类预测概率分布，计算联合损失函数，并根据联合损失函数调整所述内窥镜图像分类模型的参数；确定是否为所述第一批次的第一模态影像图像中的无标签图像和所述第二批次的第二模态影像图像中的无标签图像生成可信伪标签；如果确定为所述第一批次的第一模态影像图像中的无标签图像和所述第二批次的第二模态影像图像中的无标签图像生成可信伪标签，将生成可信伪标签的第一模态影像图像和对应的第二模态影像图像分别加入到所述第一图像集合和所述第二图像集合中，以构成新的第一图像集合和新的第二图像集合，以更新训练数据集；以及将所述新的第一图像集合和所述新的第二图像集合作为新的训练数据集对调整后的所述内窥镜图像分类模型继续进行迭代训练。
[0013]例如，根据本公开的实施例的方法，其中，如果确定不为所述第一批次的第一模态
影像图像中的无标签图像和所述第二批次的第二模态影像图像中的无标签图像生成可信伪标签，则继续基于所述第一图像集合和所述第二图像集合作为训练数据集对调整后的所述内窥镜图像分类模型继续进行迭代训练。
[0014]例如，根据本公开的实施例的方法，其中，所述内窥镜图像分类模型的联合损失函数是以下各损失函数的和：针对所述对比学习的损失函数、针对第一批次的第一模态影像图像中的有标签图像进行分类训练时的损失函数、以及针对第二批次的第二模态影像图像中的有标签图像进行分类训练时的损失函数。
[0015]例如，根据本公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的内窥镜图像分类模型的训练方法，所述方法包括：获取第一图像集合，所述第一图像集合是通过以第一模态操作的内窥镜获取的一个或多个对象的第一模态影像图像的集合；获取第二图像集合，所述第二图像集合是通过以与第一模态不同的第二模态操作的内窥镜获取的所述一个或多个对象的第二模态影像图像的集合，所述第二模态影像图像与所述第一模态影像图像一一对应；以及将所述第一图像集合和所述第二图像集合作为训练数据集输入到所述内窥镜图像分类模型中，对所述内窥镜图像分类模型进行训练，以获得训练完成的内窥镜图像分类模型。2.根据权利要求1所述的方法，其中，所述训练方法是半监督的训练方法，所述第一图像集合的第一子集合的图像具有标记内窥镜图像类别的标签，以及所述第一图像集合的其他图像没有标记内窥镜图像类别的标签；以及所述第二图像集合中与所述第一子集合的图像一一对应的第二子集合的图像具有相同的标记内窥镜图像类别的标签，以及所述第二图像集合的其他图像没有标记内窥镜图像类别的标签。3.根据权利要求1或2所述的方法，其中，所述内窥镜图像分类模型包括：对比学习子模型，所述对比学习子模型包括：第一学习模块，用于接收所述第一图像集合并且学习所述第一图像集合，以获取所述第一图像集合的第一特征表示和第二特征表示；第二学习模块，用于接收所述第二图像集合并且学习所述第二图像集合，以获取所述第二图像集合的第一特征表示和第二特征表示；以及存储器队列，用于存储第一学习模块生成的第一图像集合的第二特征表示和第二学习模块生成的第二图像集合的第二特征表示；分类器子模型，包括：第一分类器子模型，用于根据所述第一学习模块生成的第一图像集合的第一特征表示进行分类学习，以生成所述第一图像集合中的每一个图像的分类预测概率分布；以及第二分类器子模型，用于根据第二学习模块生成的第二图像集合的第一特征表示进行分类学习，以生成所述第二图像集合中的每一个图像的分类预测概率分布。4.根据权利要求3所述的方法，其中第一学习模块包括依次连接的第一编码器和第一非线性映射器，第二学习模块包括依次连接的第二编码器和第二非线性映射器，其中所述第一编码器和所述第二编码器的结构相同，并且所述第一非线性映射器和所述第二非线性映射器结构相同，第一分类器子模型包括第一分类器，所述第一分类器连接到所述第一编码器的输出端，以及第一分类器子模型包括第二分类器，所述第二分类器连接到所述第二编码器的输出端，其中所述第一分类器和所述第二分类器结构相同。5.根据权利要求4所述的方法，其中，将所述第一图像集合和所述第二图像集合作为训练数据集输入到内窥镜图像分类模型中包括：在每次迭代训练时：
从所述第一图像集合中选取第一批次的第一模态影像图像，并输入到所述第一学习模块中；以及从所述第二图像集合中选取与所述第一批次的第一模态影像图像一一对应的第二批次的第二模态影像图像，并输入到所述第二学习模块中。6.根据权利要求5所述的方法，其中，对所述内窥镜图像分类模型进行训练，以获得训练完成的内窥镜图像分类模型包括：对所述内窥镜图像分类模型进行训练，直到所述内窥镜图像分类模型的联合损失函数收敛，以获得训练完成的内窥镜图像分类模型。7.根据权利要求6所述的方法，其中对所述内窥镜图像分类模型进行训练，直到所述内窥镜图像分类模型的联合损失函数收敛包括：利用所述对比学习子模型进行无监督的对比学习，以针对所述第一批次的第一模态影像图像生成第一批次的第一特征表示和第一批次的第二特征表示，并针对所述第二批次的第二模态影像图像生成第二批次的第一特征表示和第二批次的第二特征表示；基于先进先出的规则，将所述第一批次的第二特征表示和所述第二批次的第二特征表示存储到所述存储器队列中；利用所述分类器子模型进行分类训练，以针对所述第一批次的第一模态影像图像中的每一个图像生成第一分类预测概率分布，从而得到第一批次的第一分类预测概率分布，并针对所述第二批次的第二模态影像图像中的每一个图像生成第二分类预测概率分布，从而得到第二批次的第二分类预测概率分布；基于所述第一批次的第二特征表示和所述第二批次的第二特征表示以及所述第一批次的第一分类预测概率分布和所述第二批次的第二分类预测概率分布，计算联合损失函数，并根据联合损失函数调整所述内窥镜图像分类模型的参数；确定是否为所述第一批次的第一模态影像图像中的无标签图像和所述第二批次的第二模态影像图像中的无标签图像生成可信伪标签；如果确定为所述第一批次的第一模态影像图像中的无标签图像和所述第二批次的第二模态影像图像中的无标签图像生成可信伪标签，则将生成可信伪标签的第一模态影像图像和对应的第二模态影像图像分别加入到所述第一图像集合和所述第二图像集合中，以构成新的第一图像集合和新的第二图像集合，以更新训练数据集；以及将所述新的第一图像集合和所述新的第二图像集合作为新的训练数据集对调整后的所述内窥镜图像分类模型继续进行迭代训练。8.根据权利要求7所述的方法，其中如果确定不为所述第一批次的第一模态影像图像中的无标签图像和所述第二批次的第二模态影像图像中的无标签图像生成可信伪标签，则继续基于所述第一图像集合和所述第二图像集合作为训练数据集对调整后的所述内窥镜图像分类模型继续进行迭代训练。9.根据权利要求6所述的方法，其中，所述内窥镜图像分类模型的联合损失函数是以下各损失...

【专利技术属性】
技术研发人员：边成，李永会，杨延展，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：