本公开提供一种人像分割模型的训练方法、装置及人像分割方法、装置，人像分割模型的训练方法包括：获取训练样本集，训练样本集包括样本图像和样本图像中每个像素点的标签信息；将样本图像输入待训练模型，得到样本图像对应的二值化掩膜图，待训练模型的编码器网络包括多个轻量级网络模块和一个Transformer转换网络模块；根据样本图像中每个像素点的标签信息，以及二值化掩膜图中对应像素点的预测结果，计算待训练模型的损失函数值；根据损失函数值，更新待训练模型中编码器网络和解码器网络的网络参数进行迭代训练，直至待训练模型的损失函数值小于或等于预设值，得到人像分割模型。本方案可以实现移动端实时精准的人像分割，达到较好的人像分割效果。达到较好的人像分割效果。达到较好的人像分割效果。
【技术实现步骤摘要】
人像分割模型的训练方法、装置及人像分割方法、装置
[0001]本公开涉及深度学习
，尤其涉及人像分割模型的训练方法、装置及人像分割方法、装置。
技术介绍
[0002]人像分割技术是一种将人像从原始图像背景中分离出来的技术。随着移动端智能设备的不断普及，人像分割技术在移动端直播、实时通信和互动娱乐等诸多场景中都具有广泛的应用。
[0003]随着近年来深度学习算法的快速发展和人工智能相关技术的加速落地，研究人员提出了很多能够满足实时性要求的深度学习分割算法，并成功部署在与移动端人像分割技术相关的领域。
[0004]然而，现有移动端的人像分割算法虽然能够基本满足实时性的要求，但难以满足人像分割的精度要求。
技术实现思路
[0005]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种人像分割模型的训练方法、装置及人像分割方法、装置。
[0006]根据本公开的一方面，提供了一种人像分割模型的训练方法，包括：获取训练样本集，所述训练样本集包括样本图像和所述样本图像中每个像素点的标签信息；将所述样本图像输入待训练模型，通过所述待训练模型的编码器网络提取所述样本图像的编码特征图，以及通过所述待训练模型的解码器网络对所述编码特征图进行解码，得到所述样本图像对应的二值化掩膜图，其中，所述编码器网络包括多个轻量级网络模块和一个Transformer转换网络模块；根据所述样本图像中每个像素点的标签信息，以及所述二值化掩膜图中对应像素点的预测结果，计算所述待训练模型的损失函数值；根据所述损失函数值，更新所述待训练模型中所述编码器网络和所述解码器网络的网络参数进行迭代训练，直至所述待训练模型的损失函数值小于或等于预设值，得到所述人像分割模型。
[0007]根据本公开的另一方面，提供了一种基于人像分割模型的人像分割方法，所述人像分割模型利用如前述一方面所述的人像分割模型的训练方法训练得到，所述方法包括：获取待检测图像；将所述待检测图像输入至所述人像分割模型，以获取所述待检测图像的二值化掩膜图；根据所述待检测图像和所述二值化掩膜图，从所述待检测图像中分割出人像图像。
[0008]根据本公开的另一方面，提供了一种人像分割模型的训练装置，包括：样本集获取模块，用于获取训练样本集，所述训练样本集包括样本图像和所述样本图像中每个像素点的标签信息；预测结果获取模块，用于将所述样本图像输入待训练模型，通过所述待训练模型的编码器网络提取所述样本图像的编码特征图，以及通过所述待训练模型的解码器网络对所述编码特征图进行解码，得到所述样本图像对应的二值化掩膜图，其中，所述编码器网络包括多个轻量级网络模块和一个Transformer转换网络模块；计算模块，用于根据所述样本图像中每个像素点的标签信息，以及所述二值化掩膜图中对应像素点的预测结果，计算所述待训练模型的损失函数值；参数更新模块，用于根据所述损失函数值，更新所述待训练模型中所述编码器网络和所述解码器网络的网络参数进行迭代训练，直至所述待训练模型的损失函数值小于或等于预设值，得到所述人像分割模型。
[0009]根据本公开的另一方面，提供了一种基于人像分割模型的人像分割装置，所述人像分割模型利用如前述一方面所述的人像分割模型的训练方法训练得到，所述装置包括：图像获取模块，用于获取待检测图像；输入模块，用于将所述待检测图像输入至所述人像分割模型，以获取所述待检测图像的二值化掩膜图；处理模块，用于根据所述待检测图像和所述二值化掩膜图，从所述待检测图像中分割出人像图像。
[0010]根据本公开的另一方面，提供了一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据前述一方面所述的人像分割模型的训练方法或者执行前述另一方面所述的基于人像分割模型的人像分割方法。
[0011]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据前述一方面所述的人像分割模型的训练方法或者执行前述另一方面所述的基于人像分割模型的人像分割方法。
[0012]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现前述一方面所述的人像分割模型的训练方法或者执行前述另一方面所述的基于人像分割模型的人像分割方法。
[0013]本公开实施例中提供的一个或多个技术方案，通过包括多个轻量级网络模块和一个Transformer转换网络模块的编码器网络来提取图像的特征，能够保证特征提取的速度和提取到图像的全局信息，从而根据编码器网络提取的特征图确定二值化掩膜图，能够获得实时高质量的人像掩膜，进而使训练得到的人像分割模型能够满足移动端人像分割的实时性和高精度要求，从而利用预先训练的人像分割模型来获取待检测图像中的人像掩膜，根据人像掩膜从待检测图像中分割出人像图像，可以实现移动端实时精准的人像分割，达到较好的人像分割效果。
附图说明
[0014]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：图1示出了根据本公开一示例性实施例的人像分割模型的训练方法的流程图；图2示出了本公开一示例性实施例中待训练模型的网络结构示意图；图3示出了根据本公开另一示例性实施例的人像分割模型的训练方法的流程图；图4示出了本公开一示例性实施例提供的解码器网络中融合模块的网络结构示意图；图5示出了根据本公开又一示例性实施例的人像分割模型的训练方法的流程图；图6示出了根据本公开示例性实施例的基于人像分割模型的人像分割方法的流程示意图；图7示出了根据本公开示例性实施例的人像分割模型的训练装置的示意性框图；图8示出了根据本公开示例性实施例的基于人像分割模型的人像分割装置的示意性框图；图9示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0015]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0016]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0017]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人像分割模型的训练方法，所述方法包括：获取训练样本集，所述训练样本集包括样本图像和所述样本图像中每个像素点的标签信息；将所述样本图像输入待训练模型，通过所述待训练模型的编码器网络提取所述样本图像的编码特征图，以及通过所述待训练模型的解码器网络对所述编码特征图进行解码，得到所述样本图像对应的二值化掩膜图，其中，所述编码器网络包括多个轻量级网络模块和一个Transformer转换网络模块；根据所述样本图像中每个像素点的标签信息，以及所述二值化掩膜图中对应像素点的预测结果，计算所述待训练模型的损失函数值；根据所述损失函数值，更新所述待训练模型中所述编码器网络和所述解码器网络的网络参数进行迭代训练，直至所述待训练模型的损失函数值小于或等于预设值，得到所述人像分割模型。2.如权利要求1所述的人像分割模型的训练方法，其中，所述通过所述待训练模型的编码器网络提取所述样本图像的编码特征图，包括：将所述样本图像输入串联连接的卷积网络模块、至少一组轻量级网络模块组、Transformer转换网络模块和第一轻量级网络模块，得到所述编码特征图，其中，所述轻量级网络模块组中包括至少一个轻量级网络模块。3.如权利要求2所述的人像分割模型的训练方法，其中，所述至少一组轻量级网络模块组包括三组轻量级网络模块组，分别为第一组轻量级网络模块组、第二组轻量级网络模块组和第三组轻量级网络模块组。4.如权利要求3所述的人像分割模型的训练方法，其中，所述第一组轻量级网络模块组包括第二轻量级网络模块和第三轻量级网络模块，所述第二组轻量级网络模块组包括第四轻量级网络模块、第五轻量级网络模块和第六轻量级网络模块，所述第三组轻量级网络模块组包括第七轻量级网络模块和第八轻量级网络模块。5.如权利要求4所述的人像分割模型的训练方法，其中，所述通过所述待训练模型的解码器网络对所述编码特征图进行解码，得到所述样本图像对应的二值化掩膜图，包括：通过所述解码器网络的第一上采样模块，对所述编码特征图上采样得到第一特征图，其中，所述第一特征图与目标轻量级网络模块输出的第二特征图的大小相同，所述目标轻量级网络模块为所述至少一组轻量级网络模块组中的任一轻量级网络模块；将所述第一特征图和所述第二特征图输入至所述解码器网络的融合模块进行特征融合，得到融合特征图；通过所述解码器网络的第二上采样模块，对所述融合特征图上采样得到所述样本图像对应的二值化掩膜图。6.如权利要求5所述的人像分割模型的训练方法，其中，所述目标轻量级网络模块为所述第三轻量级网络模块。7.如权利要求5所述的人像分割模型的训练方法，其中，所述将所述第一特征图和所述第二特征图输入至所述解码器网络的融合模块进行特征融合，得到融合特征图，包括：将所述第一特征图输入所述融合模块中串联的多个卷积网络进行卷积处理，得到注意力特征图；
根据所述注意力特征图、所述第一特征图和所述第二特征图，生成融合图像；将所述融合图像输入卷积层进行卷积处理，得到所述融合特征图。8.如权利要求7所述的人像分割模型的训练方法，其中，所述多个卷积网络为三个，三个卷积网络的卷积...
【专利技术属性】
技术研发人员：胡志伟，高原，白锦峰，
申请(专利权)人：北京世纪好未来教育科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。