图像编码器的训练方法、装置、设备及介质制造方法及图纸

本申请公开了一种图像编码器的训练方法、装置、设备及介质，属于人工智能领域。该方法包括：获取第一样本组织图像；将第一样本组织图像分别进行数据增强，得到第一图像和第二图像；将第一图像输入第一图像编码器，得到第一特征向量；将第二图像输入第二图像编码器，得到第二特征向量；将不同的第一样本组织图像的多个第一特征向量进行聚类，得到多个第一聚类中心；将多个第一聚类中心中与第二特征向量相似值最大的特征向量，确定为正样本向量；将第一其余特征向量确定为负样本向量；基于第二特征向量、正样本向量和负样本向量，生成第一群组损失函数；基于第一群组损失函数，训练第一图像编码器和第二图像编码器。图像编码器和第二图像编码器。图像编码器和第二图像编码器。

【技术实现步骤摘要】
图像编码器的训练方法、装置、设备及介质


[0001]本申请涉及人工智能领域，特别涉及一种图像编码器的训练方法、装置、设备及介质。

技术介绍

[0002]在医疗领域，存在由全视野数字切片(Whole Slide Image，WSI)搜索与其相似的全视野数字切片的场景。每张全视野数字切片(大图)包括数量巨大的组织病理图像(小图)。
[0003]在相关技术中，使用大图内最具有表征能力的小图来代表整张大图，之后根据小图的特征向量在数据库中寻找与其最相似的目标小图，将目标小图对应的大图作为最终的搜索结果。上述过程需要使用图像编码器来提取小图的特征向量。相关技术在训练图像编码器时采用对比学习的方式进行训练，对比学习旨在学习锚图像与正样本的共同特征，区分锚图像与负样本之间的不同特征(常简称为拉近锚图像与正样本，拉远锚图像与负样本)。
[0004]相关技术在采用对比学习的方式训练图像编码器时，对于图像X，将图像X分别进行两次数据增强得到的图像X1和图像X2作为一对正样本。相关技术对正样本的定义过于宽泛，图像X1与图像X2与锚图像的相似程度可能存在很大区别，采用相关技术训练得到的图像编码器的编码效果将受限于正样本的宽泛假设，如何在对比学习中设置更为准确的正样本假设，成为亟需解决的技术问题。

技术实现思路

[0005]本申请提供了一种图像编码器的训练方法、装置、设备及介质，能够提高图像编码器的编码效果。所述技术方案如下：
[0006]根据本申请的一个方面，提供了一种图像编码器的训练方法，所述方法包括：
[0007]获取第一样本组织图像；
[0008]将第一样本组织图像进行数据增强，得到第一图像；将第一图像输入第一图像编码器，得到第一特征向量；
[0009]将第一样本组织图像进行数据增强，得到第二图像；将第二图像输入第二图像编码器，得到第二特征向量；
[0010]将第一特征向量确定为用于对比学习的对比向量，将第二特征向量确定为用于对比学习的锚向量；
[0011]将不同的第一样本组织图像的多个第一特征向量进行聚类，得到多个第一聚类中心；将多个第一聚类中心中与第二特征向量之间的相似值最大的特征向量，确定为多个第一特征向量中的正样本向量；将第一其余特征向量，确定为多个第一特征向量中的负样本向量，其中，第一其余特征向量指多个第一特征向量中除与第二特征向量之间的相似值最大的特征向量之外的特征向量；
[0012]基于第二特征向量和多个第一特征向量中的正样本向量，生成第一子函数；基于第二特征向量和多个第一特征向量中的负样本向量，生成第二子函数；基于第一子函数和第二子函数，生成第一群组损失函数；
[0013]基于第一群组损失函数，训练第一图像编码器和第二图像编码器；将第二图像编码器确定为最终训练得到的图像编码器。
[0014]根据本申请的另一方面，提供了一种图像编码器的训练方法，所述方法包括：
[0015]获取第一样本组织图像和多张第二样本组织图像，第二样本组织图像为对比学习中的负样本；
[0016]将第一样本组织图像进行数据增强，得到第三图像；将第三图像输入第三图像编码器，得到第三特征向量；第三图像为对比学习中的正样本；
[0017]将第一样本组织图像进行数据增强，得到第一图像；将第一图像输入第一图像编码器，得到第四特征向量；第一图像为对比学习中的锚图像；
[0018]将多张第二样本组织图像输入第三图像编码器，得到多张第二样本组织图像的多个特征向量；将多个特征向量进行聚类，得到多个聚类中心；基于多个聚类中心与第三特征向量的相似值，生成多个权重；
[0019]基于第四特征向量和第三特征向量，生成用于表征锚图像和正样本之间误差的第五子函数；基于第四特征向量和多个特征向量，结合多个权重生成用于表征锚图像和负样本之间误差的第六子函数；基于第五子函数和第六子函数，生成第一权重损失函数；
[0020]基于第一权重损失函数，训练第三图像编码器和第一图像编码器；基于第一图像编码器，更新第三图像编码器。
[0021]根据本申请的另一方面，提供了一种全视野病理切片的搜索方法，所述方法包括：
[0022]获取全视野病理切片，以及将全视野病理切片裁剪为多张组织图像；
[0023]通过图像编码器，生成多张组织图像的多个图像特征向量；
[0024]通过对多个图像特征向量进行聚类，从多张组织图像中确定出多张关键图像；
[0025]基于多张关键图像的图像特征向量，从数据库查询得到多个候选图像包，多个候选图像包与多张关键图像一一对应，任意一个候选图像包容纳有至少一张候选组织图像；
[0026]根据候选图像包的属性筛选多个候选图像包，得到多个目标图像包；
[0027]将多个目标图像包内的多个目标组织图像所属的全视野病理切片，确定为最终的搜索结果。
[0028]根据本申请的另一方面，提供了一种图像编码器的训练装置，所述装置包括：
[0029]获取模块，用于获取第一样本组织图像；
[0030]处理模块，用于将第一样本组织图像进行数据增强，得到第一图像；将第一图像输入第一图像编码器，得到第一特征向量；
[0031]处理模块，还用于将第一样本组织图像进行数据增强，得到第二图像；将第二图像输入第二图像编码器，得到第二特征向量；
[0032]确定模块，用于将第一特征向量确定为用于对比学习的对比向量，将第二特征向量确定为用于对比学习的锚向量；
[0033]聚类模块，用于将不同的第一样本组织图像的第一特征向量进行聚类，得到多个第一聚类中心；将多个第一聚类中心中与第二特征向量之间的相似值最大的特征向量，确
定为多个第一特征向量中的正样本向量；将多个第一聚类中心的其余特征向量，确定为多个第一特征向量中的负样本向量；
[0034]生成模块，用于基于第二特征向量和多个第一特征向量中的正样本向量，生成第一子函数；基于第二特征向量和多个第一特征向量中的负样本向量，生成第二子函数；基于第一子函数和第二子函数，生成第一群组损失函数；
[0035]训练模块，用于基于第一群组损失函数，训练第一图像编码器和第二图像编码器；将第二图像编码器确定为最终训练得到的图像编码器。
[0036]根据本申请的另一方面，提供了一种图像编码器的训练装置，所述装置包括：
[0037]获取模块，用于获取第一样本组织图像和多张第二样本组织图像，第二样本组织图像为对比学习中的负样本；
[0038]处理模块，用于将第一样本组织图像进行数据增强，得到第三图像；将第三图像输入第三图像编码器，得到第三特征向量；第三图像为对比学习中的正样本；
[0039]处理模块，还用于将第一样本组织图像进行数据增强，得到第一图像；将第一图像输入第一图像编码器，得到第四特征向量；第一图像为对比学习中的锚图像；
[0040]处理模块，还用于将多张第二样本组织图像输入第三图像编码器，得到多张第二样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像编码器的训练方法，其特征在于，所述方法包括：获取第一样本组织图像；将所述第一样本组织图像进行数据增强，得到第一图像；将所述第一图像输入第一图像编码器，得到第一特征向量；将所述第一样本组织图像进行数据增强，得到第二图像；将所述第二图像输入第二图像编码器，得到第二特征向量；将所述第一特征向量确定为用于对比学习的对比向量，将所述第二特征向量确定为用于对比学习的锚向量；将不同的所述第一样本组织图像的多个第一特征向量进行聚类，得到多个第一聚类中心；将所述多个第一聚类中心中与所述第二特征向量之间的相似值最大的特征向量，确定为所述多个第一特征向量中的正样本向量；将第一其余特征向量确定为所述多个第一特征向量中的负样本向量，所述第一其余特征向量指所述多个第一特征向量中除与所述第二特征向量之间的相似值最大的特征向量之外的特征向量；基于所述第二特征向量和所述多个第一特征向量中的正样本向量，生成第一子函数；基于所述第二特征向量和所述多个第一特征向量中的负样本向量，生成第二子函数；基于所述第一子函数和所述第二子函数，生成第一群组损失函数；基于所述第一群组损失函数，训练所述第一图像编码器和所述第二图像编码器；将所述第二图像编码器确定为最终训练得到的图像编码器。2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像输入第一图像编码器，得到第一特征向量，包括：将所述第一图像输入所述第一图像编码器，得到第一中间特征向量；将所述第一中间特征向量输入第一MLP，得到所述第一特征向量；所述将所述第二图像输入第二图像编码器，得到第二特征向量，包括：将所述第二图像输入所述第二图像编码器，得到第二中间特征向量；将所述第二中间特征向量输入第二MLP，得到所述第二特征向量。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述第二特征向量确定为用于对比学习的对比向量，将所述第一特征向量确定为用于对比学习的锚向量；将不同的所述第一样本组织图像的多个第二特征向量进行聚类，得到多个第二聚类中心；将所述多个第二聚类中心中与所述第一特征向量之间的相似值最大的特征向量，确定为所述多个第二特征向量中的正样本向量；将第二其余特征向量确定为所述多个第二特征向量中的负样本向量，其中，所述第二其余特征向量指所述多个第二特征向量中除与所述第一特征向量之间的相似值最大的特征向量之外的特征向量；基于所述第一特征向量和所述多个第二特征向量中的正样本向量，生成第三子函数；基于所述第一特征向量和所述多个第二特征向量中的负样本向量，生成第四子函数；基于所述第三子函数和所述第四子函数，生成第二群组损失函数；基于所述第二群组损失函数，训练所述第一图像编码器和所述第二图像编码器；将所述第一图像编码器确定为最终训练得到的图像编码器。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第一图像编码器和所述第二图像编码器之间共享的参数，采用加权方式对第三图像编码器的参数进行更新。5.一种全视野病理切片的搜索方法，其特征在于，所述方法由计算机设备执行，所述计算机设备运行有权利要求1至4任一方法训练得到的图像编码器，所述方法包括：获取全视野病理切片，以及将所述全视野病理切片裁剪为多张组织图像；通过所述图像编码器，生成所述多张组织图像的多个图像特征向量；通过对所述多个图像特征向量进行聚类，从所述多张组织图像中确定出多张关键图像；基于所述多张关键图像的图像特征向量，从数据库查询得到多个候选图像包，所述多个候选图像包与所述多张关键图像一一对应，任意一个所述候选图像包容纳有至少一张候选组织图像；根据所述候选图像包的属性筛选所述多个候选图像包，得到多个目标图像包；将所述多个目标图像包内的多个目标组织图像所属的全视野病理切片，确定为最终的搜索结果。6.根据权利要求5所述的方法，其特征在于，所述通过对所述多个图像特征向量进行聚类，从所述多张组织图像中确定出多张关键图像，包括：将所述多张组织图像的多个图像特征向量进行聚类，得到多个第一类簇；将所述多个第一类簇的多个聚类中心分别确定为所述多张关键图像的多个图像特征向量。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：针对所述多个第一类簇中的目标第一类簇，基于所述目标第一类簇对应的多张组织图像在各自所属的全视野病理切片的位置特征，聚类得到多个第二类簇；所述将所述多个第一类簇的多个聚类中心分别确定为所述多张关键图像的多个图像特征向量，包括：针对所述多个第一类簇中的目标第一类簇，将所述目标第一类簇包含的多个第二类簇对应的多个聚类中心确定为所述关键图像的图像特征向量；其中，所述目标第一类簇为所述多个第一类簇中的任意一个。8.根据权利要求5至7任一所述的方法，其特征在于，所述根据所述候选图像包的属性，筛选所述多个候选图像包，得到多个目标图像包，包括：根据所述候选图像包具有的诊断类别数量，筛选所述多个候选图像包，...

【专利技术属性】
技术研发人员：杨森，项进喜，张军，韩骁，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：