基于神经网络的抠图方法、装置、设备、存储介质及程序制造方法及图纸

本申请实施方式公开了一种基于神经网络的抠图方法、神经网络的训练方法、装置、电子设备、计算机可读存储介质及计算机程序，其中的抠图方法包括：至少将待处理图像以及所述待处理图像的前景约束图，作为输入信息，提供给神经网络进行前景检测，获得前景检测结果；所述前景约束图为所述待处理图像中显著物的约束信息；根据前景检测结果，从待处理图像中抠取出前景图像；其中，所述神经网络包括：编码网络单元和解码网络单元，且编码网络单元和解码网络单元之间的连接方式包括：所述编码网络单元的非最后一网络层的输出提供给所述解码网络单元的任一网络层，和/或，所述编码网络单元的最后一网络层的输出提供给所述解码网络单元的非首个网络层。

Neural network based matting method, device, device, storage medium and program

The application implementation method discloses a neural network based matting method, a neural network training method, a device, an electronic device, a computer readable storage medium and a computer program, wherein the matting method includes at least the foreground constraints of the image to be processed and the image to be processed as input information, The foreground detection results are provided for the neural network and the foreground detection results are obtained; the foreground constraint graph is the constraint information of the significant object in the unprocessed image; the foreground image is extracted from the image to be processed according to the foreground detection result; the neural network includes: a coding network unit and a decoding network unit, and the neural network includes a coding network unit and a decoding network unit, and the neural network includes a coding network unit and a decoding network unit. The connection mode between the coded network unit and the decoded network unit includes: the output of the non last network layer of the coded network unit is provided to any network layer of the decoding network unit, and / or the output of the last network layer of the coded network unit is provided to the non first network layer of the decoding network unit. .

【技术实现步骤摘要】
基于神经网络的抠图方法、装置、设备、存储介质及程序
本申请涉及计算机视觉技术，尤其是涉及一种基于神经网络的抠图方法、基于神经网络的抠图装置、神经网络的训练方法、神经网络的训练装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
抠图通常是指：将图像中的前景从图像中剥离出来。抠图可以应用在电影制作、视频直播以及照片处理等领域中，例如，在制作电影特技时，通过将前景从一系列的视频帧中剥离出来，并将剥离出来的前景添加在具有相应背景的一系列视频帧中，从而形成一种特技效果。如何快速且精准的将前景从图像中剥离出来，是计算机视觉领域中一个值得关注的技术问题。
技术实现思路
本申请实施方式提供一种基于神经网络的抠图和训练神经网络的技术方案。根据本申请实施方式其中一方面，提供一种基于神经网络的抠图方法，所述方法包括：至少将待处理图像以及所述待处理图像的前景约束图，作为输入信息，提供给神经网络进行前景检测，获得前景检测结果；所述前景约束图为所述待处理图像中显著物的约束信息；根据所述前景检测结果，从所述待处理图像中抠取出前景图像；其中，所述神经网络包括：编码网络单元和解码网络单元，且所述编码网络单元和解码网络单元之间的连接方式包括：所述编码网络单元的非最后一网络层的输出提供给所述解码网络单元的任一网络层，和/或，所述编码网络单元的最后一网络层的输出提供给所述解码网络单元的非首个网络层。在本申请一实施方式中，所述编码网络单元包括：至少两层卷积层；所述编码网络单元中的至少一层卷积层输出的特征图提供给解码网络单元中的非第一层，且提供给解码网络单元的所述特征图与所述非第一层的上一层输出的特征图的大小相同。在本申请又一实施方式中，所述编码网络单元中的至少一层卷积层以第一预定步长，对其上一卷积层输出的所述待处理图像的特征图进行下采样，以形成分辨率降低，且数量增加的特征图。在本申请再一实施方式中，所述解码网络单元的网络层包括：至少一层卷积层以及至少一层反卷积层；所述至少一层反卷积层的输入包括：编码网络单元中的卷积层输出的待处理图像的特征图以及解码网络单元中的该反卷积层的上一卷积层的输出。在本申请再一实施方式中，所述解码网络单元中的至少一层反卷积层以第二预定步长，对其上一卷积层输出的所述待处理图像的特征图进行上采样，以形成分辨率增加，且数量减少的特征图。在本申请再一实施方式中，所述至少将待处理图像以及所述待处理图像的前景约束图，作为输入信息，提供给神经网络进行前景检测包括：至少将待处理图像以及所述待处理图像的初始前景约束图，作为输入信息，提供给神经网络进行前景检测；至少将待处理图像以及针对所述待处理图像的第N次迭代前景约束图，作为输入信息，提供给神经网络进行前景检测；其中，所述N大于1，所述针对所述待处理图像的第N次迭代前景约束图包括：神经网络在针对所述待处理图像的第N-1次迭代过程中，输出的所述待处理图像的前景检测结果。在本申请再一实施方式中，所述待处理图像的初始前景约束图包括：待处理图像的三分图；和/或，所述待处理图像的第N次迭代前景约束图包括：神经网络在第N-1次迭代过程中，输出的所述待处理图像的α蒙图。在本申请再一实施方式中，所述神经网络的输入信息还包括：所述待处理图像的梯度图。在本申请再一实施方式中，所述神经网络是利用带有前景约束标注信息的图像样本训练而成的。在本申请再一实施方式中，训练所述神经网络的过程包括：从训练数据集中获取图像样本；至少将所述图像样本以及所述图像样本的前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测，获得所述图像样本的前景检测结果；以所述图像样本的前景检测结果与所述图像样本的前景约束标注信息之间的差异为指导信息，对所述待训练的神经网络进行监督学习。在本申请再一实施方式中，所述至少将所述图像样本以及所述图像样本的前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测包括：至少将图像样本以及所述图像样本的初始前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测；至少将图像样本以及针对所述图像样本的第N次迭代前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测。在本申请再一实施方式中，所述图像样本的初始前景约束图包括：图像样本的三分图；和/或，所述针对所述图像样本的第N次迭代前景约束图包括：神经网络在针对所述图像样本的第N-1次迭代过程中，输出的所述图像样本的α蒙图。在本申请再一实施方式中，所述待训练的神经网络的训练输入信息还包括：所述图像样的梯度图。根据本申请实施方式的其中另一方面，提供一种神经网络的训练方法，所述训练方法包括：从训练数据集中获取图像样本；至少将所述图像样本以及所述图像样本的前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测，获得所述图像样本的前景检测结果；以所述图像样本的前景检测结果与所述图像样本的前景约束标注信息之间的差异为指导信息，对所述待训练的神经网络进行监督学习。在本申请一实施方式中，所述至少将所述图像样本以及所述图像样本的前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测包括：至少将所述图像样本以及所述图像样本的前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测包括：至少将图像样本以及所述图像样本的初始前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测；至少将图像样本以及针对所述图像样本的第N次迭代前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测。在本申请又一实施方式中，所述图像样本的初始前景约束图包括：图像样本的三分图；和/或，所述针对所述图像样本的第N次迭代前景约束图包括：神经网络在针对所述图像样本的第N-1次迭代过程中，输出的所述图像样本的α蒙图。在本申请再一实施方式中，所述待训练的神经网络的训练输入信息还包括：所述图像样的梯度图。根据本申请实施方式的其中再一方面，提供一种基于神经网络的抠图装置，所述装置包括：获取检测结果模块，用于至少将待处理图像以及所述待处理图像的前景约束图，作为输入信息，提供给神经网络进行前景检测，获得前景检测结果；所述前景约束图为所述待处理图像中显著物的约束信息；抠取前景图像模块，用于根据所述前景检测结果，从所述待处理图像中抠取出前景图像；其中，所述神经网络包括：编码网络单元和解码网络单元，且所述编码网络单元和解码网络单元之间的连接方式包括：所述编码网络单元的非最后一网络层的输出提供给所述解码网络单元的任一网络层，和/或，所述编码网络单元的最后一网络层的输出提供给所述解码网络单元的非首个网络层。在本申请一实施方式中，所述编码网络单元包括：至少两层卷积层；所述编码网络单元中的至少一层卷积层输出的特征图提供给解码网络单元中的非第一层，且提供给解码网络单元的所述特征图与所述非第一层的上一层输出的特征图的大小相同。在本申请又一实施方式中，所述编码网络单元中的至少一层卷积层以第一预定步长，对其上一卷积层输出的所述待处理图像的特征图进行下采样，以形成分辨率降低，且数量增加的特征图。在本申请再一实施方式中，所述解码网络单元的网络侧包括：至少一层卷积层以及至少一层反卷积层；所述至少一层反卷积层的输入包括：编码网络单元中的卷积层输出的待本文档来自技高网...

【技术保护点】
1.一种基于神经网络的抠图方法，其特征在于，包括：至少将待处理图像以及所述待处理图像的前景约束图，作为输入信息，提供给神经网络进行前景检测，获得前景检测结果；所述前景约束图为所述待处理图像中显著物的约束信息；根据所述前景检测结果，从所述待处理图像中抠取出前景图像；其中，所述神经网络包括：编码网络单元和解码网络单元，且所述编码网络单元和解码网络单元之间的连接方式包括：所述编码网络单元的非最后一网络层的输出提供给所述解码网络单元的任一网络层，和/或，所述编码网络单元的最后一网络层的输出提供给所述解码网络单元的非首个网络层。

【技术特征摘要】
1.一种基于神经网络的抠图方法，其特征在于，包括：至少将待处理图像以及所述待处理图像的前景约束图，作为输入信息，提供给神经网络进行前景检测，获得前景检测结果；所述前景约束图为所述待处理图像中显著物的约束信息；根据所述前景检测结果，从所述待处理图像中抠取出前景图像；其中，所述神经网络包括：编码网络单元和解码网络单元，且所述编码网络单元和解码网络单元之间的连接方式包括：所述编码网络单元的非最后一网络层的输出提供给所述解码网络单元的任一网络层，和/或，所述编码网络单元的最后一网络层的输出提供给所述解码网络单元的非首个网络层。2.根据权利要求1所述的方法，其特征在于，所述编码网络单元包括：至少两层卷积层；所述编码网络单元中的至少一层卷积层输出的特征图提供给解码网络单元中的非第一层，且提供给解码网络单元的所述特征图与所述非第一层的上一层输出的特征图的大小相同。3.根据权利要求2所述的方法，其特征在于，所述编码网络单元中的至少一层卷积层以第一预定步长，对其上一卷积层输出的所述待处理图像的特征图进行下采样，以形成分辨率降低，且数量增加的特征图。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述解码网络单元的网络层包括：至少一层卷积层以及至少一层反卷积层；所述至少一层反卷积层的输入包括：编码网络单元中的卷积层输出的待处理图像的特征图以及解码网络单元中的该反卷积层的上一卷积层的输出。5.一种神经网络的训练方法，其特征在于，所述方法包括：从训练数据集中获取图像样本；至少将所述图像样本以及所述图像样本的前景约束图，作为训练输入信息，提供给待训练的神经网络进行前景检测，获得所述图像样本的前景检测结果；以所述图像样本的前景检测结果与所述...

【专利技术属性】
技术研发人员：张佳维，任思捷，潘金山，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44