目标分割模型训练方法及目标分割方法技术

本发明专利技术提供一种目标分割模型训练方法及目标分割方法，涉及图像处理技术领域，该方法包括：获取有标注训练数据集和无标注训练数据集；基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，基于得到的第一学生网络模型的参数，更新初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；基于最终更新后的第一学生网络模型的参数，确定目标分割模型，在对学生网络模型进行训练时，可以加快目标分割模型训练的速度，同时提升目标分割模型对手术器械分割的精度。器械分割的精度。器械分割的精度。

【技术实现步骤摘要】
目标分割模型训练方法及目标分割方法


[0001]本专利技术涉及图像处理
，尤其涉及一种目标分割模型训练方法及目标分割方法。

技术介绍

[0002]微创外科手术一般也称为介入式手术，通过视觉显示系统的图像引导，将手术器械通过体表切口伸入体内进行治疗或诊断。因此，基于内窥镜图像的手术器械分割对于机器人辅助微创手术至关重要。
[0003]目前，大多数手术器械分割方法均采用卷积神经网络进行分割，需要有标注的数据集对卷积神经网络进行训练。然而，卷积神经网络未能利用上下文信息，而且真实的手术场景比较复杂，真实场景下的临床数据集鲜有标签数据，导致对手术器械分割的精度较低。

技术实现思路

[0004]本专利技术提供一种目标分割模型训练方法及目标分割方法，用以解决现有技术中对手术器械分割的精度较低的问题。
[0005]本专利技术提供一种目标分割模型训练方法，包括：
[0006]获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；
[0007]基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据；
[0008]基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；
[0009]基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；
[0010]基于最终更新后的第一学生网络模型的参数，确定目标分割模型。
[0011]根据本专利技术提供的一种目标分割模型训练方法，所述基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集，包括：
[0012]基于所述有标注训练数据集和所述无标注训练数据集，确定至少一组样本图像；每组样本图像包括所述第一样本图像和所述第二样本图像；
[0013]基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据。
[0014]根据本专利技术提供的一种目标分割模型训练方法，所述基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集，包括：
[0015]将每组样本图像中的所述第一样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第一分割图像；
[0016]将每组样本图像中的所述第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第二分割图像；
[0017]随机选择所述第一分割图像中目标数量的像素点对应的第一标签数据；
[0018]基于所述目标数量的像素点对应的第一标签数据，生成二进制掩码；
[0019]基于所述二进制掩码，分别将所述第一样本图像和所述第二样本图像、以及所述第一分割图像和所述第二分割图像进行混合，得到第三样本图像和所述第三样本图像的第二标签数据；
[0020]基于所述第三样本图像和所述第二标签数据，确定混合训练数据集。
[0021]根据本专利技术提供的一种目标分割模型训练方法，所述基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和初始教师网络模型，对初始学生网络模型进行训练，得到第一学生网络模型，包括：
[0022]基于所述第一分割图像和所述第二标签数据，计算第一分类交叉熵损失函数；
[0023]将所述混合训练数据集中的第三样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第三分割图像；
[0024]基于所述第三分割图像对应的至少一个像素块的像素值和所述第三样本图像对应的二进制掩码，计算结构相似性损失函数；
[0025]基于所述第一分类交叉熵损失函数、所述结构性损失函数、所述无标注训练数据集和所述初始教师网络模型，确定所述第一学生网络模型。
[0026]根据本专利技术提供的一种目标分割模型训练方法，所述基于所述第一分类交叉熵损失函数、所述第二分类交叉熵损失函数、所述第一结构性损失函数、所述无标注训练数据集和所述初始教师网络模型，确定所述第一学生网络模型，包括：
[0027]将所述无标注训练数据集中的第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第四分割图像；
[0028]基于所述第四分割图像，确定第一概率和伪标签数据；
[0029]基于第四分割图像、所述第一概率和所述伪标签数据，计算第二分类交叉熵损失函数和第二结构相似性损失函数；
[0030]基于所述第一分类交叉熵损失函数、所述结构相似性损失函数和所述第二分类交叉熵损失函数，确定目标损失函数；
[0031]基于所述目标损失函数，确定所述第一学生网络模型。
[0032]根据本专利技术提供的一种目标分割模型训练方法，所述基于所述目标损失函数，确定所述第一学生网络模型，包括：
[0033]在所述目标损失函数不满足预设条件的情况下，重复执行上述训练过程中确定目标损失函数的步骤；
[0034]在所述目标损失函数满足预设条件的情况下，将所述初始学生网络模型确定为所述第一学生网络模型。
[0035]根据本专利技术提供的一种目标分割模型训练方法，所述初始学生网络模型和所述初始教师网络模型的结构相同；所述初始学生网络模型包括至少一个转换Transformer模块、
多层感知机和解码器；所述Transformer模块用于提取图像的特征信息；所述多层感知机用于对各所述Transformer模块提取的所述特征信息进行融合；所述解码器用于对融合之后的特征信息进行解码。
[0036]本专利技术还提供一种目标分割方法，包括：
[0037]获取待分割目标对象的目标图像；
[0038]将所述目标图像输入至目标分割模型，得到所述目标分割模型输出的分割结果；所述目标分割模型是基于上述任一种方式中所述的目标分割模型训练方法训练得到的。
[0039]根据本专利技术提供的一种目标分割方法，所述方法还包括：
[0040]基于所述分割结果，确定所述分割结果对应的投影三维形状和关键点信息；
[0041]对所述投影三维形状和所述分割结果进行对齐；
[0042]基于所述关键点信息和所述目标图像的历史信息，确定所述目标图像对应的追踪信息；
[0043]基于所述追踪信息和对齐后的信息，确定所述目标对象的位姿。
[0044]本专利技术还提供一种目标分割模型训练装置，包括：
[0045]第一获取模块，用于获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；
...

【技术保护点】

【技术特征摘要】
1.一种目标分割模型训练方法，其特征在于，包括：获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据；基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；基于最终更新后的第一学生网络模型的参数，确定目标分割模型。2.根据权利要求1所述的目标分割模型训练方法，其特征在于，所述基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集，包括：基于所述有标注训练数据集和所述无标注训练数据集，确定至少一组样本图像；每组样本图像包括所述第一样本图像和所述第二样本图像；基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据。3.根据权利要求2所述的目标分割模型训练方法，其特征在于，所述基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集，包括：将每组样本图像中的所述第一样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第一分割图像；将每组样本图像中的所述第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第二分割图像；随机选择所述第一分割图像中目标数量的像素点对应的第一标签数据；基于所述目标数量的像素点对应的第一标签数据，生成二进制掩码；基于所述二进制掩码，分别将所述第一样本图像和所述第二样本图像、以及所述第一分割图像和所述第二分割图像进行混合，得到混合样本图像和所述混合样本图像的第二标签数据；对所述混合样本图像进行增强，得到第三样本图像；基于所述第三样本图像和所述第二标签数据，确定混合训练数据集。4.根据权利要求3所述的目标分割模型训练方法，其特征在于，所述基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和初始教师网络模型，对初始学生网络模型进行训练，得到第一学生网络模型，包括：基于所述第一分割图像和所述第一标签数据，计算第一分类交叉熵损失函数；将所述混合训练数据集中的第三样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第三分割图像；基于所述第三分割图像和所述第二标签数据，计算第二分类交叉熵损失函数；
基于所述第三分割图像对应的至少一个像素块的像素值和所述第三样...

【专利技术属性】
技术研发人员：伍芷影，刘宏斌，
申请(专利权)人：中国科学院香港创新研究院人工智能与机器人创新中心有限公司，
类型：发明
国别省市：