【技术实现步骤摘要】
本申请实施例属于计算机视觉领域，特别涉及一种用于训练网络模型的方法和装置。
技术介绍
1、当前，使用全监督学习的方式训练目标检测和/或实例分割网络模型性能最好，但是需要大量标注的图像数据，其中包括目标位置和像素级的分割掩码。人工手动标注这些数据是一项费时费力的任务，特别是对于大规模数据集和复杂场景。
技术实现思路
1、有鉴于此，本申请实施例提供了一种用于训练网络模型的方法和装置，能够提高网络模型的鲁棒性和性能。
2、第一方面，提供了一种用于训练网络模型的方法，该网络模型包括教师网络模型和学生网络模型，该方法包括：基于第一图像训练得到教师网络模型和第一学生网络模型，第一图像具有人工掩码；将第二图像输入到教师网络模型中，获得第二图像的第一预测掩码和第一预测掩码的不确定性值，第二图像不具有人工掩码；基于第一预测掩码的不确定性值，对第二图像进行处理；基于第一图像和处理后的第二图像训练第一学生网络模型，以得到第二学生网络模型。
3、在该实施例中，通过教师网络模型指导学生网络模型，使得无人工掩码的第二图像可以使用来训练网络模型，可以实现对训练所需人工标注成本的压缩，能够在少量人工标注数据量下提高网络模型的性能和泛化性。此外，通过引入对预测掩码的不确定性值的估计，能够提高预测掩码的精度，从而提高了网络模型的鲁棒性和性能，扩大网络模型的使用场景，可以广泛应用于图像处理、计算机视觉和人工智能等领域。
4、在一种可能的实现方式中，方法还包括：将第二图像输入到第一学生
5、在该实施例中，只有教师网络模型输出的不确定性值小于第一学生网络模型输出的不确定性值时，才进行教师网络模型输出的预测掩码的学习，能够降低由于引入半监督学习过程中自动化打伪标签的噪声被网络模型所学习的概率。
6、在一种可能的实现方式中，方法还包括：对第一预测掩码进行细化，得到第三预测掩码；基于第一预测掩码的不确定性值，对第二图像进行处理，包括：对采用第一预测掩码的不确定性值对第三预测掩码进行加权处理，得到第四预测掩码；基于第一图像和处理后的第二图像训练第一学生网络模型，以得到第二学生网络模型，包括：基于利用人工掩码标注的第一图像和利用第四预测掩码标注的第二图像训练第一学生网络模型，以得到第二学生网络模型。
7、在该实施例中，通过细化教师网络模型对无人工掩码批注的第二图像输出的预测掩码，并将细化后的预测掩码作为第二图像的预测掩码送入学生网络模型进行训练，能够提高学生网络模型的性能。
8、在一种可能的实现方式中，方法包括：利用第一图像训练网络模型时，获取第一图像的第五预测掩码；基于第一图像训练得到教师网络模型和学生网络模型，包括：基于第五预测掩码中每个位置的预测掩码、人工掩码图像中每个位置的人工掩码、网络模型预测每个位置为前景的概率以及第五预测掩码中的每个位置的不确定性值的约束关系，训练得到网络模型中的不确定性估计网络模型。
9、在该实施例中，基于由具有人工掩码的第一图像的预测掩码与该人工掩码、网络模型预测为前景的概率以及不确定性值的约束关系，训练得到网络模型中的不确定性估计网络模型，有利于减少由于引入半监督学习过程中对无人工掩码的第二图像预测的掩码不准所带来的干扰。
10、在一种可能的实现方式中，约束关系为：其中，dice为第五预测掩码和人工掩码图像的集合相似度度量函数；bce是第五预测掩码和人工掩码图像中每个位置的二值交叉熵；gx是人工掩码图像中每个位置的人工掩码，dx是网络模型预测每个位置为前景的概率，σx是每个位置的不确定性值。
11、在该实施例中，采用的约束关系训练不确定性估计网络模型，能够更好地减少噪声标签对网络训练的影响。
12、在一种可能的实现方式中，方法还包括：确定第一预测掩码中每个位置的自信息；基于每个位置的自信息，确定第一预测掩码中的边缘区域。
13、在该实施例中，通过自信息确定预测掩码中的边缘区域，自信息越大的位置它的高频信息越大，说明越靠近目标对象的边缘，以此促进网络模型对目标边缘高频信号的感知，从而优化边缘的分割效果。
14、在一种可能的实现方式中，确定第一预测掩码中每个位置的自信息，包括：基于第一预测掩码中当前位置的预测掩码的概率以及相邻位置的预测掩码的概率，确定第一预测掩码中每个位置的自信息。
15、在该实施例中，基于预测掩码中的当前位置的预测掩码的概率以及相邻位置的预测掩码的概率，确定预测掩码中每个位置的自信息，在得到每个位置的自信息之后，可以将其作为每个位置预测掩码损失的权重，从而驱使网络模型更加关注自信息越大的区域，即目标的边缘区域，从而可以优化边缘的分割效果。
16、在一种可能的实现方式中，基于第一预测掩码中当前位置的预测掩码的概率以及相邻位置的预测掩码的概率，确定第一预测掩码中每个位置的自信息，包括：基于以下公式，确定第一预测掩码中每个位置的自信息：其中，si为第i个位置的自信息，fi是第i个位置的预测掩码的概率，fj是第i个位置周围邻域n(i)的第j个位置的预测掩码的概率，ω和b是高斯核的权重系数和带宽。
17、在该实施例中，采用确定预测掩码中每个位置的自信息，有利于优化边缘的分割效果。
18、在一种可能的实现方式中，方法还包括：利用第二学生网络模型反馈的模型参数，更新教师网络模型的参数。
19、在该实施例中，利用第二学生网络模型反馈的模型参数，更新教师网络模型的参数，能够防止由于类别不平衡带来的偏置预测问题。
20、第二方面，提供了一种用于训练网络模型的装置，该网络模型包括教师网络模型和学生网络模型，装置包括：训练模块，用于基于第一图像训练得到教师网络模型和第一学生网络模型，第一图像具有人工掩码；获取模块，用于将第二图像输入到教师网络模型中，获得第二图像的第一预测掩码和第一预测掩码的不确定性值，第二图像不具有人工掩码；处理模块，用于基于第一预测掩码的不确定性值，对第二图像进行处理；训练模块还用于：基于第一图像和处理后的第二图像训练第一学生网络模型，以得到第二学生网络模型。
21、在一种可能的实现方式中，获取模块还用于：将第二图像输入到第一学生网络模型中，获得第二图像的第二预测掩码和第二预测掩码的不确定性值；处理模块具体用于：在第一预测掩码的不确定性值小于第二预测掩码的不确定性值的情况下，确定将第二图像用于训练第一学生网络模型；训练模块具体用于：基于利用人工掩码标注的第一图像和利用第本文档来自技高网...
【技术保护点】
1.一种用于训练网络模型的方法，其特征在于，所述网络模型包括教师网络模型和学生网络模型，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，所述约束关系为：其中，dice为所述第五预测掩码和所述人工掩码图像的集合相似度度量函数，bce是所述第五预测掩码和所述人工掩码图像中每个位置的二值交叉熵，Gx是所述人工掩码图像中每个位置的人工掩码，dx是所述网络模型预测所述每个位置为前景的概率，σx是所述每个位置的不确定性值。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述确定所述第一预测掩码中每个位置的自信息，包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述第一预测掩码中当前位置的预测掩码的概率以及相邻位置的预测掩码的概率，确定所述第一预
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：
10.一种用于训练网络模型的装置，其特征在于，所述网络模型包括教师网络模型和学生网络模型，所述装置包括：
11.根据权利要求10所述的装置，其特征在于，所述获取模块还用于：
12.根据权利要求10所述的装置，其特征在于，所述处理模块还用于：
13.根据权利要求10至12中任一项所述的装置，其特征在于，所述获取模块还用于：
14.根据权利要求13所述的装置，其特征在于，所述约束关系为：其中，dice为所述第五预测掩码和所述人工掩码图像的集合相似度度量函数，bce是所述第五预测掩码和所述人工掩码图像中每个位置的二值交叉熵，Gx是所述人工掩码中每个位置的人工掩码，dx是所述网络模型预测所述每个位置为前景的概率，σx是所述每个位置的不确定性值。
15.根据权利要求10至14中任一项所述的装置，其特征在于，所述处理模块还用于：
16.根据权利要求15所述的装置，其特征在于，所述处理模块具体用于：
17.根据权利要求16所述的装置，其特征在于，所述处理模块具体用于：
18.根据权利要求10至17中任一项所述的装置，其特征在于，所述装置还包括：
19.一种使用如权利要求1至9中任一项所述的方法训练得到的所述第二学生网络模型进行目标检测和/或实例分割的方法。
20.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器用于存储指令，所述处理器用于读取所述指令并根据所述指令执行如权利要求1至9中任一项所述的方法。
21.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至9中任一项所述的方法。
...【技术特征摘要】
1.一种用于训练网络模型的方法，其特征在于，所述网络模型包括教师网络模型和学生网络模型，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，所述约束关系为：其中，dice为所述第五预测掩码和所述人工掩码图像的集合相似度度量函数，bce是所述第五预测掩码和所述人工掩码图像中每个位置的二值交叉熵，gx是所述人工掩码图像中每个位置的人工掩码，dx是所述网络模型预测所述每个位置为前景的概率，σx是所述每个位置的不确定性值。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述确定所述第一预测掩码中每个位置的自信息，包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述第一预测掩码中当前位置的预测掩码的概率以及相邻位置的预测掩码的概率，确定所述第一预测掩码中每个位置的自信息，包括：
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：
10.一种用于训练网络模型的装置，其特征在于，所述网络模型包括教师网络模型和学生网络模型，所述装置包括：
11.根据权利要求10所述的装置，其特征在于，所述获取模块还用于...
【专利技术属性】
技术研发人员：江冠南，束岸楠，王智玉，
申请(专利权)人：宁德时代新能源科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。