图像处理方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了图像处理方法、装置、电子设备和存储介质，涉及计算机视觉技术和深度学习等人工智能领域。具体方案为：对目标图像进行分割处理，并至少将目标图像中的目标体所在区域与其他区域进行区分，获得分割掩膜；基于目标图像和分割掩膜，获得与目标体所在区域对应的遮挡区域，并估算出遮挡区域中至少部分区域的颜色修复信息和深度修复信息；基于目标图像的相关信息、颜色修复信息和深度修复信息在三维坐标系中构建针对目标图像的目标三维点云数据；基于目标三维点云数据生成与目标图像匹配的至少展示目标体的三维效果的视频数据。本公开方案处理速度得到提升，减少了处理的信息量，降低了模型复杂度，提升了3D图像的生成效率。

【技术实现步骤摘要】
图像处理方法、装置、电子设备和存储介质
本公开涉及图像处理领域，尤其涉及计算机视觉技术和深度学习等人工智能领域。
技术介绍
现有技术中，由二维(2D)图像生成三维(3D)图像的技术流程较复杂，技术环节较多，整个处理过程繁琐、耗时，降低了3D图像的生成效率。
技术实现思路
本公开提供了一种用于图像处理方法、装置、电子设备和存储介质。根据本公开的第一方面，提供了一种图像处理方法，包括：对目标图像进行分割处理，并至少将目标图像中的目标体所在区域与其他区域进行区分，获得分割掩膜；基于目标图像和分割掩膜，获得与目标体所在区域对应的遮挡区域，并估算出遮挡区域中至少部分区域的颜色修复信息和深度修复信息；基于目标图像的相关信息、颜色修复信息和深度修复信息在三维坐标系中构建针对目标图像的目标三维点云数据；基于目标三维点云数据生成与目标图像匹配的至少展示目标体的三维效果的视频数据。根据本公开的第二方面，提供了一种图像处理装置，包括：分割处理模块，用于对目标图像进行分割处理，并至少将目标图像中的目标体所在区域与其他区域进行区分，获得分割掩膜；修复模块，用于基于目标图像和分割掩膜，获得与目标体所在区域对应的遮挡区域，并估算出遮挡区域中至少部分区域的颜色修复信息和深度修复信息；点云构建模块，用于基于目标图像的相关信息、颜色修复信息和深度修复信息在三维坐标系中构建针对目标图像的目标三维点云数据；视频生成模块，用于基于目标三维点云数据生成与目标图像匹配的至少展示目标体的三维效果的视频数据。根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。本公开实施例，处理速度得到提升，减少了处理的信息量，降低了模型复杂度，提升了3D图像的生成效率。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1为本公开一实施例中图像处理方法的流程示意图；图2为本公开一实施例中目标图像的示意图；图3为图2所示目标图像的分割掩膜；图4为本公开一实施例中颜色修复后的图像；图5为图1所示目标图像的深度图；图6为本公开一实施例中深度修复后的深度图；图7为图2所示目标图像的在一个实施例中对应的点云模型效果示意图；图8A、图8B和图8C分别示出由视频数据生成的视频中的三个帧的二维图像；图9示出了一种图像中像素点的排列；图10为本公开一实施例中图像处理装置的结构框图；图11为本公开一实施例中修复模块的结构框图；图12为本公开一实施例中修复模块的结构框图；图13为本公开一实施例中点云构建模块的结构框图；图14为本公开一实施例中视频生成模块的结构框图；图15为本公开一实施例中图像处理装置的结构框图；图16是用来实现本公开实施例的图像处理方法的电子设备的框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。相关技术中，将一张输入的二维(2D)图像转化成具有三维(3D)效果的视频，可以采用深度估计、检测深度突变的边界、构造场景的3D模型、逐边界对3D模型的被遮挡部分进行图像修复及深度修复，最终获得以视频展示的3D图像。相关技术中，在将2D图像转化为3D图像时，技术流程复杂，技术环节较多，例如为了对被遮挡区域进行图像修复及深度修复，需要检测深度突变的边界，从而需要采用许多前处理及双边中值滤波，耗时严重；并且，在得到深度突变的边界后，需要逐边界进行图像及深度修复，这种逐个迭代优化的过程繁琐耗时，增加了算法的时间复杂度，降低了3D图像的生成效率。为了提高将2D图像生成3D图像的效率，本公开实施例提供了一种图像处理方法，下面将详细介绍本公开技术方案的内容。图1为本公开一实施例中图像处理方法的流程示意图，本公开实施例提供了一种图像处理方法，如图1所示，可以包括：步骤S101、对目标图像进行分割处理，并至少将目标图像中的目标体所在区域与其他区域进行区分，获得分割掩膜；步骤S102、基于目标图像和分割掩膜，获得与目标体所在区域对应的遮挡区域，并估算出遮挡区域中至少部分区域的颜色修复信息和深度修复信息；步骤S103、基于目标图像的相关信息、颜色修复信息和深度修复信息在三维坐标系中构建针对目标图像的目标三维点云数据；步骤S104、基于目标三维点云数据生成与目标图像匹配的至少展示目标体的三维效果的视频数据。本公开实施例的图像处理方法，对目标图像进行分割来获得分割掩膜，基于目标图像和分割掩膜，估算出遮挡区域中至少部分区域的颜色修复信息和深度修复信息，基于目标图像的相关信息、颜色修复信息和深度修复信息在三维坐标系中构建针对目标图像的目标三维点云数据，基于目标三维点云数据生成与目标图像匹配的至少展示目标体的三维效果的视频数据。相比于相关技术中由2D图像生成3D图像的过程中，采用检测深度突变的边界、构造场景的3D模型、逐边界对3D模型的被遮挡部分进行图像修复及深度修复等技术，本公开实施例的图像处理方法，处理速度得到提升，减少了处理的信息量，降低了模型复杂度，提升了3D图像的生成效率。在一种实施方式中，目标图像可以由用户拍摄得到，或者用户从已有的二维图片中选取得到。目标图像中包括目标体，目标体可以包括人体、动物等中的至少一种。在目标体为人体的情况下，可以采用人像分割技术对目标图像进行分割处理，以至少将目标图像中的人体所在区域与其他区域进行区分。示例性地，目标体可以包括人体以及与人体相关联的元素。例如，目标图像中包括人体，人体怀抱宠物，那么，目标体可以包括人体以及被人体怀抱的宠物，再例如，目标图像中包括人体，人体手牵宠物，那么，目标体可以包括人体以及被人体手牵的宠物。与人体相关联的元素可以为与人体有肢体连接的元素。本公开中，基于目标图像和分割掩膜，获得目标体所在区域对应的遮挡区域本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n对目标图像进行分割处理，并至少将所述目标图像中的目标体所在区域与其他区域进行区分，获得分割掩膜；/n基于所述目标图像和所述分割掩膜，获得与所述目标体所在区域对应的遮挡区域，并估算出所述遮挡区域中至少部分区域的颜色修复信息和深度修复信息；/n基于所述目标图像的相关信息、所述颜色修复信息和所述深度修复信息在三维坐标系中构建针对所述目标图像的目标三维点云数据；/n基于所述目标三维点云数据生成与所述目标图像匹配的至少展示所述目标体的三维效果的视频数据。/n

【技术特征摘要】
1.一种图像处理方法，包括：
对目标图像进行分割处理，并至少将所述目标图像中的目标体所在区域与其他区域进行区分，获得分割掩膜；
基于所述目标图像和所述分割掩膜，获得与所述目标体所在区域对应的遮挡区域，并估算出所述遮挡区域中至少部分区域的颜色修复信息和深度修复信息；
基于所述目标图像的相关信息、所述颜色修复信息和所述深度修复信息在三维坐标系中构建针对所述目标图像的目标三维点云数据；
基于所述目标三维点云数据生成与所述目标图像匹配的至少展示所述目标体的三维效果的视频数据。


2.根据权利要求1所述的方法，其中，所述基于所述目标图像和所述分割掩膜，获得与所述目标体所在区域对应的遮挡区域，并估算出所述遮挡区域中至少部分区域的颜色修复信息，包括：
基于所述目标图像和所述分割掩膜，确定所述目标图像中的背景区域，所述背景区域为所述目标图像中除所述遮挡区域之外的区域；
确定所述目标图像中所述背景区域的颜色信息，并基于所述背景区域的颜色信息估算出所述遮挡区域中至少部分区域的颜色修复信息。


3.根据权利要求1所述的方法，其中，基于所述目标图像和所述分割掩膜，获得与所述目标体所在区域对应的遮挡区域，并估算出所述遮挡区域中至少部分区域的深度修复信息，包括：
基于所述目标图像和所述分割掩膜，确定所述目标图像中的背景区域，所述背景区域为所述目标图像中除所述遮挡区域之外的区域；
确定所述目标图像中所述背景区域的深度信息，并基于所述背景区域的深度信息估算出所述遮挡区域中至少部分区域的深度修复信息。


4.根据权利要求1所述的方法，其中，所述基于所述目标图像的相关信息、所述颜色修复信息和所述深度修复信息在三维坐标系中构建针对所述目标图像的三维点云数据，包括：
基于所述目标图像的深度信息，获得所述目标图像中各第一像素点的深度值；
基于所述深度修复信息，获得所述遮挡区域中各第二像素点的深度值；
将所述目标图像中各第一像素点和所述遮挡区域中各第二像素点映射到所述三维坐标系中，构造三维点云数据；其中，所述第一像素点或所述第二像素点在所述目标图像所对应二维坐标系下的二维坐标作为所述三维点云数据中对应点的X、Y坐标，所述第一像素点的深度值或者所述第二像素点的深度值作为所述三维点云数据中对应点的Z坐标；
基于所述目标图像确定所述第一像素点的颜色值，作为所述三维点云数据中对应点的颜色值，以及基于所述颜色修复信息确定所述第二像素点的颜色值，作为所述三维点云数据中对应点的颜色值，以得到所述目标三维点云数据。


5.根据权利要求1或4所述的方法，其中，所述基于所述目标三维点云数据生成与所述目标图像匹配的至少展示所述目标体的三维效果的视频数据，包括：
确定图像采集轨迹；
基于所述目标三维点云数据，确定出与所述图像采集轨迹匹配的多帧二维图像；
基于所述多帧二维图像，生成针对所述目标图像的至少展示所述目标体的三维效果的视频数据。


6.根据权利要求5所述的方法，还包括：
基于所述目标三维点云数据中相邻的多个点构造面片；
基于与所述面片相关的点的相关信息，估算所述面片内至少一个衍生点的相关信息；其中，所述衍生点的相关信息包括所述衍生点的三维坐标和颜色值中的至少一种；
基于所述目标三维点云数据中各点的相关信息和所述衍生点的相关信息生成点云模型；
其中，基于所述目标三维点云数据，确定出与所述图像采集轨迹匹配的多帧二维图像，包括：基于所述点云模型，确定出与所述图像采集轨迹匹配的多帧二维图像。


7.根据权利要求6所述的方法，其中，所述基于所述目标三维点云数据中相邻的多个点构造面片，包括：
针对所述目标图像中各第一像素点和所述遮挡区域中各第二像素点的位置关系，确定所述目标三维点云数据中相邻的多个点，将确定出的相邻的多个点进行连接，以构造所述面片。


8.一种图像处理装置，包括：
分割处理模块，用于对目标图像进行分割处理，并至少将所述目标图像中的目标体所在区域与其他区域进行区分，获得分割掩膜；
修复模块，用于基于所述目标图像和所述分割掩膜，获得与所述目标体所在区...

【专利技术属性】
技术研发人员：邓瑞峰，林天威，李甫，张赫男，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11