【技术实现步骤摘要】
本说明书涉及计算机，尤其涉及一种模型训练和图像分割方法、装置、存储介质及设备。
技术介绍
1、随着计算机视觉技术的迅猛发展，图像分割（实例分割）已广泛应用于诸如自动驾驶、医疗诊断、机器人导航以及人脸识别等领域，为不同业务场景下图像内容的精确理解和分析提供了重要基础。
2、然而，目前进行图像分割的准确性较低，导致无法对图像中的包含的实例进行精准的识别，难以对图像中的每个像素以及同一类别中的不同实例进行精准的分类，严重影响了后续业务的顺利执行。
3、因此，如何提高图像分割的准确性，是一个亟待解决的问题。
技术实现思路
1、本说明书提供一种模型训练和图像分割方法、装置、存储介质及设备，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种模型训练方法，包括：
4、获取样本图像以及所述样本图像对应的标签数据，其中，所述标签数据包括所述样本图像中的每一个实例所对应的实例标签；
5、确定所述标签数据中的每个实例标签所对应的实例类别信息；
6、将所述样本图像以及所述实例类别信息输入待训练的图像分割模型，通过图像分割模型中的编码器，分别确定所述样本图像对应的图像特征和所述实例类别信息对应的文本特征，以及，通过所述图像分割模型中的目标特征提取网络，根据所述样本图像，确定目标特征；
7、通过所述图像分割模型中的注意力网络，根据所述图像特征对所述目标特征进行调整，得到强化
8、根据所述强化目标特征和所述文本特征，确定图像分割结果；
9、根据所述图像分割结果与所述标签数据之间的偏差，确定所述图像分割模型的损失值，以最小化所述损失值为优化目标，对所述图像分割模型进行训练。
10、可选地，所述图像分割模型中的编码器包括图像编码器和文本编码器；
11、通过图像分割模型中的编码器，分别确定所述样本图像对应的图像特征和所述实例类别信息对应的文本特征，具体包括：
12、通过图像分割模型中的图像编码器，根据所述样本图像确定所述图像特征，以及，通过图像分割模型中的文本编码器，根据所述实例类别信息确定所述文本特征。
13、可选地，通过图像分割模型中的编码器，确定所述样本图像对应的图像特征，具体包括：
14、通过图像分割模型中的编码器，确定所述样本图像对应的初始图像特征；
15、将所述初始图像特征输入所述图像分割模型中的适配器，以通过所述适配器，对所述初始图像特征进行调整，得到调整后图像特征；
16、基于预设的融合比例的参数，对所述初始图像特征和所述调整后图像特征进行特征融合，得到与所述样本图像所对应的图像分割场景相匹配的图像特征。
17、可选地，通过所述图像分割模型中的注意力网络，根据所述图像特征对所述目标特征进行调整，得到强化目标特征，具体包括：
18、通过所述图像分割模型中的注意力网络，对所述图像特征进行处理，以使处理后的图像特征的特征通道与所述目标特征的特征通道相匹配；
19、根据处理后的图像特征以及所述目标特征，确定注意力权重；
20、根据所述注意力权重对所述目标特征进行调整，得到所述强化目标特征。
21、可选地，根据所述强化目标特征和所述文本特征，确定针对所述样本图像的图像分割结果，具体包括：
22、将所述强化目标特征输入所述图像分割模型中的候选区域生成网络，以通过所述候选区域生成网络，确定所述样本图像中可能存在实例的区域，作为各候选区域；
23、根据所述各候选区域以及所述强化目标特征，确定区域视觉特征；
24、将所述区域视觉特征以及所述文本特征输入所述图像分割模型中的实例分割网络，以通过所述实例分割网络，确定所述样本图像中包含的每个实例对应的图像分割结果。
25、可选地，在获取样本图像以及所述样本图像对应的标签数据之前，所述方法还包括：
26、获取初始图像数据集；
27、将所述初始图像数据集中可见目标类别对应的图像数据和标签划分为训练数据集；
28、获取样本图像以及所述样本图像对应的标签数据，具体包括：
29、从所述训练数据集中获取所述样本图像以及所述样本图像对应的标签数据。
30、可选地，所述方法还包括：
31、将所述初始图像数据集中不可见目标类别对应的图像数据和标签划分为测试数据集；
32、从所述测试数据集中获取测试图像，以通过所述测试图像，对训练完成后的图像分割模型进行测试。
33、本说明书提供了一种图像分割方法，包括：
34、获取待识别图像；
35、将所述待识别图像输入预先训练的图像分割模型，以通过所述图像分割模型，确定针对所述待识别图像的图像分割结果，其中，所述图像分割模型是通过上述权利要求模型训练方法训练得到的。
36、本说明书提供了一种模型训练装置，包括：
37、获取模块，用于获取样本图像以及所述样本图像对应的标签数据，其中，所述标签数据包括所述样本图像中的每一个实例所对应的实例标签；
38、确定模块，用于确定所述标签数据中的每个实例标签所对应的实例类别信息；
39、输入模块，用于将所述样本图像以及所述实例类别信息输入待训练的图像分割模型，通过图像分割模型中的编码器，分别确定所述样本图像对应的图像特征和所述实例类别信息对应的文本特征，以及，通过所述图像分割模型中的目标特征提取网络，根据所述样本图像，确定目标特征；
40、调整模块，用于通过所述图像分割模型中的注意力网络，根据所述图像特征对所述目标特征进行调整，得到强化目标特征；
41、识别模块，用于根据所述强化目标特征和所述文本特征，确定针对所述样本图像的图像分割结果；
42、优化模块，用于根据所述图像分割结果与所述标签数据之间的偏差，确定所述图像分割模型的损失值，并以最小化所述损失值为目标，对所述图像分割模型进行训练。
43、本说明书提供了一种图像分割装置，包括：
44、获取模块，用于获取待识别图像；
45、识别模块，用于将所述待识别图像输入预先训练的图像分割模型，以通过所述图像分割模型，确定针对所述待识别图像的图像分割结果，其中，所述图像分割模型是通过上述模型训练方法训练得到的。
46、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练和图像分割方法。
47、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练和图像分割方法。
48、本说明书采用的上述至少一个技术方案能够达到以下有益效果：
49本文档来自技高网...
【技术保护点】
1.一种模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述图像分割模型中的编码器包括图像编码器和文本编码器；
3.如权利要求1所述的方法，其特征在于，通过图像分割模型中的编码器，确定所述样本图像对应的图像特征，具体包括：
4.如权利要求1所述的方法，其特征在于，通过所述图像分割模型中的注意力网络，根据所述图像特征对所述目标特征进行调整，得到强化目标特征，具体包括：
5.如权利要求1所述的方法，其特征在于，根据所述强化目标特征和所述文本特征，确定图像分割结果，具体包括：
6.如权利要求1所述的方法，其特征在于，在获取样本图像以及所述样本图像对应的标签数据之前，所述方法还包括：
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
8.一种图像分割方法，其特征在于，包括：
9.一种模型训练装置，其特征在于，包括：
10.一种图像分割装置，其特征在于，包括：
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~8任一项所述的方法。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述图像分割模型中的编码器包括图像编码器和文本编码器；
3.如权利要求1所述的方法，其特征在于，通过图像分割模型中的编码器，确定所述样本图像对应的图像特征，具体包括：
4.如权利要求1所述的方法，其特征在于，通过所述图像分割模型中的注意力网络，根据所述图像特征对所述目标特征进行调整，得到强化目标特征，具体包括：
5.如权利要求1所述的方法，其特征在于，根据所述强化目标特征和所述文本特征，确定图像分割结果，具体包括：
6.如权利要求1所述的方法，其特征在于，在获取样本图像...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。