图像处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提出一种图像处理方法、装置、电子设备及可读存储介质，其中，方法包括：获取包括目标对象的深度图像；根据深度图像中与目标对象对应的深度信息，构建目标对象对应的三维模型；将素材三维模型与目标对象对应的三维模型进行融合处理，得到目标替换模型；将目标替换模型映射到二维平面，以生成目标替换图像；将目标替换图像与深度图像中除目标对象外的其余部分进行融合处理，得到处理后的图像。该方法能够使得融合后的目标替换模型更加自然，从而避免替换后的图像的过渡区域较为突兀的情况发生。并且可以使得处理后的图像更加立体和真实，美化效果更加突出，提升用户的拍摄体验。

Image processing method, device, electronic device and readable storage medium

This application proposes an image processing method, device, electronic equipment and readable storage medium, in which methods include: acquiring a depth image including the target object; constructing a three-dimensional model corresponding to the target object according to the depth information corresponding to the target object in the depth image; and matching the three-dimensional model of the material with the target object. The three-dimensional model is fused to get the target replacement model; the target replacement model is mapped to the two-dimensional plane to generate the target replacement image; the target replacement image is fused with the rest of the depth image except the target, and the processed image is obtained. This method can make the fused target replacement model more natural, thus avoiding the abrupt transition region of the replaced image. And it can make the processed image more stereoscopic and realistic, beautify the effect more prominent, and enhance the user's shooting experience.

【技术实现步骤摘要】
图像处理方法、装置、电子设备及可读存储介质
本申请涉及电子设备
，尤其涉及一种图像处理方法、装置、电子设备及可读存储介质。
技术介绍
随着移动终端技术的不断发展，越来越多的用户选择使用移动终端，如手机、掌上电脑等，进行拍照。为了达到较佳的拍摄效果，还可以采用相关的图像处理手段对图像进行处理。例如，在用户拍摄图像时，可以使用图像替换技术，对拍摄的图像中的部分图像进行替换处理，比如可以将人或者动物的小眼替换为大眼，矮鼻梁换为高鼻梁。相关技术中，利用二维的替换图像，贴图在二维的拍摄的图像中的对应区域。这种方式下，直接利用替换图像进行贴图处理，可能发生过渡区域较为突兀的情况，使得处理后的图像不自然，处理效果不佳。
技术实现思路
本申请提出一种图像处理方法、装置、电子设备及可读存储介质，用于解决相关技术中直接利用替换图像进行贴图处理，可能发生过渡区域较为突兀的情况，使得处理后的图像不自然，处理效果不佳的问题。本申请一方面实施例提出了一种图像处理方法，包括：获取包括目标对象的深度图像；根据所述深度图像中与所述目标对象对应的深度信息，构建所述目标对象对应的三维模型；将素材三维模型与所述目标对象对应的三维模型进行融合处理，得到目标替换模型；将所述目标替换模型映射到二维平面，以生成目标替换图像；将所述目标替换图像与所述深度图像中除所述目标对象外的其余部分进行融合处理，得到处理后的图像。本申请实施例的图像处理方法，通过获取包括目标对象的深度图像，而后根据深度图像中与目标对象对应的深度信息，构建目标对象对应的三维模型，之后将素材三维模型与目标对象对应的三维模型进行融合处理，得到目标替换模型，最后将目标替换模型映射到二维平面，以生成目标替换图像，将目标替换图像与深度图像中除目标对象外的其余部分进行融合处理，得到处理后的图像。本申请中，由于素材三维模型以及目标对象对应的三维模型均是三维的，对素材三维模型与目标对象对应的三维模型进行融合处理，得到目标替换模型，可以使得融合后的目标替换模型更加自然，从而避免替换后的图像的过渡区域较为突兀的情况发生。通过将目标替换模型映射到二维平面，得到目标替换图像，将目标替换图像与深度图像中除目标对象外的其余部分进行融合处理，得到处理后的图像，可以使得处理后的图像更加立体和真实，美化效果更加突出，提升用户的拍摄体验。本申请又一方面实施例提出了一种图像处理装置，包括：获取模块，用于获取包括目标对象的深度图像；构建模块，用于根据所述深度图像中与所述目标对象对应的深度信息，构建所述目标对象对应的三维模型；融合处理模块，用于将素材三维模型与所述目标对象对应的三维模型进行融合处理，得到目标替换模型；映射模块，用于将所述目标替换模型映射到二维平面，以生成目标替换图像；处理模块，用于将所述目标替换图像与所述深度图像中除所述目标对象外的其余部分进行融合处理，得到处理后的图像。本申请实施例的图像处理装置，通过获取包括目标对象的深度图像，而后根据深度图像中与目标对象对应的深度信息，构建目标对象对应的三维模型，之后将素材三维模型与目标对象对应的三维模型进行融合处理，得到目标替换模型，最后将目标替换模型映射到二维平面，以生成目标替换图像，将目标替换图像与深度图像中除目标对象外的其余部分进行融合处理，得到处理后的图像。本申请中，由于素材三维模型以及目标对象对应的三维模型均是三维的，对素材三维模型与目标对象对应的三维模型进行融合处理，得到目标替换模型，可以使得融合后的目标替换模型更加自然，从而避免替换后的图像的过渡区域较为突兀的情况发生。通过将目标替换模型映射到二维平面，得到目标替换图像，将目标替换图像与深度图像中除目标对象外的其余部分进行融合处理，得到处理后的图像，可以使得处理后的图像更加立体和真实，美化效果更加突出，提升用户的拍摄体验。本申请又一方面实施例提出了一种电子设备，包括：深度摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述深度摄像头，用于获取包括目标对象的深度图像；所述处理器执行存储在存储器上的计算机程序时，实现如本申请前述实施例提出的图像处理方法。本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的图像处理方法。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请实施例一所提供的图像处理方法的流程示意图；图2为本申请实施例二所提供的图像处理方法的流程示意图；图3为本申请实施例三所提供的图像处理方法的流程示意图；图4为本申请实施例四所提供的图像处理方法的流程示意图；图5为申请实施例中目标对象对应的三维模型示意图一；图6本申请实施例中目标对象对应的三维模型示意图二；图7为本申请实施例五所提供的图像处理方法的流程示意图；图8为本申请实施例六所提供的图像处理方法的流程示意图；图9为本申请实施例七所提供的图像处理装置的结构示意图；图10为本申请实施例八所提供的电子设备的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。下面参考附图描述本申请实施例的图像处理方法、装置、电子设备及可读存储介质。图1为本申请实施例一所提供的图像处理方法的流程示意图。本申请实施例的图像处理方法可以应用于电子设备上具有图像处理功能的应用程序，例如拍图或美图类应用程序。其中，电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。如图1所示，该图像处理方法包括以下步骤：步骤101，获取包含目标对象的深度图像。本申请实施例中，目标对象可以是指人、动物、景物等，也可以是指人脸，对此不作限制。本申请实施例中，深度图像中可以携带目标对象的深度信息。作为一种可能的实现方式，可以通过摄像组件，采集包含目标对象的深度图像。其中，摄像组件可以为能够获取深度信息的摄像组件，例如为双摄像头、深度摄像头(Red-Green-BlueDepth，简称RGBD)、结构光摄像头/飞行时间(TimeOfFlight，简称TOF)摄像头等，此处不一一列举。步骤102，根据深度图像中与目标对象对应的深度信息，构建目标对象对应的三维模型。本申请实施例中，在获取包含目标对象的深度图像后，可以根据深度图像中与目标对象对应的深度信息，构建目标对象对应的三维模型。本申请中，目标对象对应的三维模型的构建，是根据深度图像中目标对象以及目标对象对应的深度信息，进行三维构建得到的，而不是简单的获取RGB数据和深度数据。作为一种可能的实现方式，可以将深度图像中目标对象对应的深度信息与目标对象对应的色彩信息进行融合，得到目标对象对应的三维模型。具体地，可以基于关键点检测技术，从目标对象对应的深度信息中提取关键点，以及从色彩信息中提取目标对象的关键点，而后将从深度信息中提取的关键点和本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：获取包括目标对象的深度图像；根据所述深度图像中与所述目标对象对应的深度信息，构建所述目标对象对应的三维模型；将素材三维模型与所述目标对象对应的三维模型进行融合处理，得到目标替换模型；将所述目标替换模型映射到二维平面，以生成目标替换图像；将所述目标替换图像与所述深度图像中除所述目标对象外的其余部分进行融合处理，得到处理后的图像。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取包括目标对象的深度图像；根据所述深度图像中与所述目标对象对应的深度信息，构建所述目标对象对应的三维模型；将素材三维模型与所述目标对象对应的三维模型进行融合处理，得到目标替换模型；将所述目标替换模型映射到二维平面，以生成目标替换图像；将所述目标替换图像与所述深度图像中除所述目标对象外的其余部分进行融合处理，得到处理后的图像。2.如权利要求1所述的方法，其特征在于，若所述目标对象为人脸，则所述将素材三维模型与所述目标对象对应的三维模型进行融合处理，得到目标替换模型，包括：获取素材三维模型及覆盖在所述素材三维模型表面的素材皮肤纹理图；基于预设的图像融合矩阵，将覆盖在所述目标对象对应的三维模型表面的人脸皮肤纹理图与覆盖在素材三维模型表面的所述素材皮肤纹理图进行融合处理，得到目标皮肤纹理图，其中，所述预设的图像融合矩阵中包括至少两个取值不同的元素，各元素分别与皮肤纹理图中各像素点对应；将所述目标皮肤纹理图覆盖在所述素材三维模型表面，得到目标替换模型。3.如权利要求1所述的方法，其特征在于，若所述目标对象为人脸，则所述得到目标替换模型，包括：获取素材三维模型及覆盖在所述素材三维模型表面的素材皮肤纹理图；基于预设的图像融合矩阵，将覆盖在所述目标对象对应的三维模型表面的人脸皮肤纹理图与覆盖在素材三维模型表面的所述素材皮肤纹理图进行融合处理，得到目标皮肤纹理图，其中，所述预设的图像融合矩阵中包括至少两个取值不同的元素，各元素分别与皮肤纹理图中各像素点对应；根据所述目标对象对应的三维模型中各第一关键点间的相对位置，调整所述素材三维模型中各第二关键点间的相对位置，以获取目标三维模型，其中，所述各第一关键点与所述各第二关键点一一对应；将所述目标皮肤纹理图覆盖在所述目标三维模型表面，得到目标替换模型。4.如权利要求2或3所述的方法，其特征在于，所述获取素材三维模型及覆盖在所述素材三维模型表面的素材皮肤纹理图，包括：根据所述目标对象对应的三维模型中各第一关键点的相对位置，及用户模型库中与各用户标识对应的三维模型中各第三关键点的相对位置，确定所述人脸图像对应的目标对象，其中，所述各第一关键点与所述各第三关键点一一对应；根据所述目标对象的喜好，确定所述素材三维模型及覆盖在所述素材三维模型表面的素材皮肤纹理图。5.如权利要求3所述的方法，其特征在于，所述获取包含目标对象的深度图像，包括：从至少两个不同角度，获取至少两张包含目标对象的深度图像；所述根据所述深度图像中的人脸图像及所述人脸图像对应的深度信息，构建所述目标对象对应的三维模型，包括：对每张深度图像进行关键点识别，得到各第四关键点，其中，各第四关键点为在二维图像中与所述各第一关键点对应的各点；根据所述各第四关键点在每张深度图像中的位置及所述各第四关键点的深度信息，确定与所述各第四关键点对应的各...

【专利技术属性】
技术研发人员：张弓，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东,44