一种基于深度学习的图像处理方法、电子设备及存储介质技术

本发明专利技术实施例提供了一种基于深度学习的图像处理方法、电子设备及存储介质，该方法包括：调用对象检测网络模型在待处理图像中确定目标区域图像，该目标区域图像包括目标检测对象所在区域的图像；调用图像分割网络模型对目标区域图像进行语义分割处理，得到目标区域图像的语义分割结果，语义分割结果用于指示目标区域图像中的像素是否属于目标检测对象的边框区域；根据语义分割结果从目标区域图像中确定填充区域，该填充区域是指目标检测对象所在区域的图像中除边框区域之外的区域图像，并在该填充区域中填充素材图片，可以高效、准确地提取出图像中的填充区域，例如窗户、门的填充区域，并快速完成图像填充，提升了图像填充的效果和准确度。效果和准确度。效果和准确度。

【技术实现步骤摘要】
一种基于深度学习的图像处理方法、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种基于深度学习的图像处理方法、电子设备及存储介质。

技术介绍

[0002]随着科学技术的快速进步，硬件计算单元的性能大幅提升，使得以深度学习为主的人工智能技术得到快速发展，对三维世界的理解和应用也随之愈发的多样化。其中，以智能手机等电子设备的摄像头为输入媒介的娱乐玩法是目前人工智能技术面向广大消费者的主流选择。
[0003]在诸多玩法中，虚拟现实技术相较于传统的美妆、变脸等技术在近年来呈明显的上升趋势，其应用也日趋广泛。虚拟现实的玩法大多是将可控素材(例如图片、表情等)填充到图像中的部分区域，也即是用可控素材覆盖图像中的部分区域，该部分区域可以是图像中窗户或者门等对象所在的区域。目前在确定图像中的填充区域时通常采用三维(3D)点云和深度信息相结合的方式，或者采用对图像进行语义分割的方式。然后，3D点云和深度信息相结合的方式往往只能提取到填充区域的大概位置，导致替换时准确度较低，效果较差；对图像进行语义分割的方式通常需要大量的图像像素层级的标注数据，数据的计算量较大，效率较低，并且分割效果也容易出现斑驳、边缘不清晰等情况。可见，如何高效、准确地提取图像中的填充区域已成为亟待解决的问题。

技术实现思路

[0004]本专利技术实施例提供一种基于深度学习的图像处理方法、电子设备及存储介质，可以高效、准确地提取出图像中的填充区域，提升了图像填充的效果和准确度。
[0005]一方面，本专利技术实施例提供了一种基于深度学习的图像处理方法，所述方法包括：
[0006]获取待处理图像。
[0007]调用对象检测网络模型在所述待处理图像中确定目标区域图像，所述目标区域图像包括目标检测对象所在区域的图像。
[0008]调用图像分割网络模型对所述目标区域图像进行语义分割处理，得到所述目标区域图像的语义分割结果，所述语义分割结果用于指示所述目标区域图像中的像素是否属于所述目标检测对象的边框区域。
[0009]根据所述语义分割结果从所述目标区域图像中确定填充区域，并在所述填充区域中填充素材图片，所述填充区域包括所述目标检测对象所在区域的图像中除所述边框区域之外的区域图像。
[0010]另一方面，本专利技术实施例提供了一种图像处理装置，所述装置包括：
[0011]获取模块，用于获取待处理图像。
[0012]确定模块，用于调用对象检测网络模型在所述待处理图像中确定目标区域图像，所述目标区域图像包括目标检测对象所在区域的图像。
[0013]处理模块，用于调用图像分割网络模型对所述目标区域图像进行语义分割处理，得到所述目标区域图像的语义分割结果，所述语义分割结果用于指示所述目标区域图像中的像素是否属于所述目标检测对象的边框区域。
[0014]所述确定模块，还用于根据所述语义分割结果从所述目标区域图像中确定填充区域，所述填充区域包括所述目标检测对象所在区域的图像中除所述边框区域之外的区域图像。
[0015]所述处理模块，还用于在所述填充区域中填充素材图片。
[0016]又一方面，本专利技术实施例提供了一种电子设备，所述电子设备包括处理器和存储装置，所述处理器和所述存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用以执行上述基于深度学习的图像处理方法。
[0017]又一方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行上述基于深度学习的图像处理方法。
[0018]又一方面，本专利技术实施公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述基于深度学习的图像处理方法。
[0019]本专利技术实施例中，通过调用对象检测网络模型可以在待处理图像中确定目标区域图像，目标区域图像包括目标检测对象所在区域的图像，通过调用图像分割网络模型对目标区域图像进行语义分割处理，可以得到目标区域图像的语义分割结果，语义分割结果用于指示目标区域图像中的像素是否属于目标检测对象的边框区域，只对目标区域图像进行语义分割避免了对整个图像进行语义分割导致的巨大计算量，根据语义分割结果从目标区域图像中确定填充区域，该填充区域是指目标检测对象所在区域的图像中除边框区域之外的区域图像，即可利用素材图片进行填充，可以高效、准确地提取出图像中的填充区域，例如窗户、门的填充区域，并快速完成图像填充，提升了图像填充的效果和准确度。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例提供的一种图像处理框架的结构示意图；
[0022]图2是本专利技术实施例提供的一种基于深度学习的图像处理方法的流程示意图；
[0023]图3a是本专利技术实施例提供的一种待处理图像的示意图；
[0024]图3b是本专利技术实施例提供的一种目标区域检测结果的示意图；
[0025]图3c是本专利技术实施例提供的一种图像处理效果的示意图；
[0026]图4是本专利技术实施例提供的另一种基于深度学习的图像处理方法的流程示意图；
[0027]图5a是本专利技术实施例提供的一种待处理图像的候选框的示意图；
[0028]图5b是本专利技术实施例提供的一种目标候选框的示意图；
[0029]图5c是本专利技术实施例提供的一种扩张后的目标候选框的示意图；
[0030]图5d是本专利技术实施例提供的另一种待处理图像的示意图；
[0031]图5e是本专利技术实施例提供的另一种图像处理效果的示意图；
[0032]图6是本专利技术实施例提供的一种图像处理装置的结构示意图；
[0033]图7是本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0034]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的图像处理方法，其特征在于，所述方法包括：获取待处理图像；调用对象检测网络模型在所述待处理图像中确定目标区域图像，所述目标区域图像包括目标检测对象所在区域的图像；调用图像分割网络模型对所述目标区域图像进行语义分割处理，得到所述目标区域图像的语义分割结果，所述语义分割结果用于指示所述目标区域图像中的像素是否属于所述目标检测对象的边框区域；根据所述语义分割结果从所述目标区域图像中确定填充区域，并在所述填充区域中填充素材图片，所述填充区域包括所述目标检测对象所在区域的图像中除所述边框区域之外的区域图像。2.根据权利要求1所述的方法，其特征在于，所述语义分割结果包括所述像素的分类标签，所述分类标签用于指示所述像素是否属于所述目标检测对象的边框区域。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述语义分割结果从所述目标区域图像中确定填充区域，包括：根据所述语义分割结果获取所述目标区域图像中属于所述目标检测对象的边框区域的像素；确定所述属于所述目标检测对象的边框区域的像素组成的第一区域图像；将所述目标检测对象所在区域的图像中除所述第一区域图像之外的区域图像确定为填充区域。4.根据权利要求1或2所述的方法，其特征在于，所述根据所述语义分割结果从所述目标区域图像中确定填充区域，包括：根据所述语义分割结果获取所述目标检测对象所在区域的图像中不属于所述目标检测对象的边框区域的像素；将所述不属于所述目标检测对象的边框区域的像素组成的第二区域图像作为填充区域。5.根据权利要求1所述的方法，其特征在于，所述调用图像分割网络模型对所述目标区域图像进行语义分割处理，得到所述目标区域图像的语义分割结果，包括：将所述目标区域图像输入图像分割网络模型进行二值化分割处理，得到所述目标区域图像中的像素的分类标签；根据所述目标区域图像中的像素的分类标签确定所述目标区域图像的语义分割结果。6.根据权利要求1所述的方法，其特征在于，所述调用对象检测网络模型在所述待处理图像中确定目标区域图像，包括：将所述待处理图像输入对象检测网络模型，得到包括所述目标检测对象的目标候选框；根据所述目标候选框的位置信息和尺寸信息，从所述待处理图像中确定目标区域图像。7.根据权利要求6所述的方法，其特征在于，所述根据所述目标候选框的位置信息和尺寸信息，从所述待处理图像中确定目标区域图像，包括：按照预设比例对所述目标候选框进行扩张处理，得到扩张后的目标候选框；
根据所述扩张后的目标候选框的位置信息和尺寸信息，将所述待处理图像中与所述扩张后的目标候选框的位置和尺寸对应的图像区域作为目标区域图像。8.根据权利要求7所述的方法，其特征在于，所述按照预设比例对所述目标候选框进行扩张处理，得到扩张后的目标候选框，包括：按照预设比例将所述目标候选框的边界向扩张所述目标候选框的方向移动，得到扩张后的边界；若所述扩张后的边界超出所述待处理图像的边界，则将所述待处理图像的边界作为扩张后的目标候选框的边界；根据所述扩张后的目标候选框的边界确定扩张后的目标候选框。9.根据权利要求6～8...

【专利技术属性】
技术研发人员：章子誉，罗国中，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：