一种图像虚化处理方法及电子设备技术

本申请提供一种图像虚化处理方法及电子设备，用于优化图像虚化效果。该方法应用于电子设备，电子设备上设置有第一相机和第二相机，第一相机为双目相机或多目相机，第二相机为ToF相机或结构光相机，方法包括：同时启动第一相机和第二相机对第一场景执行拍摄操作，第一相机获取第一场景对应的RGB图像和第一深度图像，第二相机获取第一场景的深度信息；利用第一场景的深度信息对第一深度图像进行稠密化处理，得到第二深度图像，第二深度图像中的无效像素点的数量少于第一深度图像中的无效像素点的数量；利用第二深度图像对RGB图像进行前后景分割；对RGB图像中的后景图像或前景图像进行虚化处理，得到后景或前景虚化效果的RGB图像。

【技术实现步骤摘要】
一种图像虚化处理方法及电子设备
本申请涉及终端
，尤其涉及一种图像虚化处理方法及电子设备。
技术介绍
拍摄带有背景虚化效果的图像可以突出图像中的关键事物而忽略其它的陪衬事物，常用于肖像、艺术品等摄影。目前，被广泛使用的手机、平板电脑等具备拍照功能的电子设备，可以在图像拍摄后期对已拍摄的图像进行模拟单反相机的大光圈处理来达到一定的虚化效果，但现有技术对图像的虚化效果较差，存在前景被误虚化、前景边缘效果差或背景闪烁等问题。
技术实现思路
本申请实施例提供一种图像虚化处理方法及电子设备，用于解决现有技术中电子设备对图像进行虚化处理效果差的技术问题。第一方面，本申请实施例提供一种图像虚化处理方法，该方法应用于电子设备，所述电子设备上设置有第一相机和第二相机，其中所述第一相机为双目相机或多目相机，所述第二相机为飞行时间ToF相机或结构光相机，该方法包括：响应于第一指令，启动所述第一相机和所述第二相机对第一场景执行拍摄操作，所述第一相机获取所述第一场景对应的红绿蓝RGB图像和第一深度图像，所述第二相机获取所述第一场景的深度信息；利用所述第一场景的深度信息对所述第一深度图像进行稠密化处理，以对所述第一深度图像中的无效像素点进行补充，得到第二深度图像，其中所述第二深度图像中的无效像素点的数量少于所述第一深度图像中的无效像素点的数量；利用所述第二深度图像对RGB图像进行前后景分割，得到前景图像和后景图像；对所述后景图像或所述前景图像进行虚化处理，得到后景或前景虚化效果的RGB图像。本申请实施例中，在第一相机拍摄第一场景的第一深度图像时，同时控制第二相机对第一场景进行拍摄，基于第一相机获得第一场景的RGB图像和第一深度图像，基于第二相机获取高精度的第一场景的深度信息，然后利用第二相机获取的高精度的深度信息对第一相机拍摄的第一深度图像进行稠密化处理得到第二深度图像，第二深度图像的精密度高于第一深度图像(也即第二深度图像中的无效像素点少于第一深度图像中的无效像素点)，之后再利用高精度的第二深度图像对RGB图像进行前后景的分割，这样可以提高RGB图像前后景边缘识别的精准度，即便在图像前后景纹理、颜色等相似的场景下，也能够得到良好的边缘分割效果，提高图像的虚化效果。在一种可能的设计中，在对RGB的前后景进行分割时，还可以在第二深度图像的基础上结合训练好的卷积神经网络CNN模型对RGB图像中的前后景进行分割；其中，所述训练好的CNN模型的输入为被拍摄主体为特定类型主体的RGB图像，例如人像，所述训练好的CNN模型的输出为该图像中被拍摄主体对应的图像部分，即人像图。本实施方式，当被拍摄主体为特定类型主体的图像时，还进一步结合CNN来识别特定类型的被拍摄主体，智能分割前后景，进一步提高前后景分割的准确性，优化前后景边缘分割效果，以达到不同的虚化效果。在一种可能的设计中，可以根据第二深度图像对所述后景图像进行虚化处理，使得所述后景图像中深度值越大的像素区域对应的虚化程度越高，然后将前景图像和虚化后的所述后景图像进行融合，得到背景虚化效果的RGB图像。这样，可以使得RGB图像背景中景深越大的地方虚化的强度可以更高，使得虚化效果更加接近真实的光学虚焦效果，提高用户的视觉体验。另一种可能的设计中，也可以根据第二深度图像对所述前景图像进行虚化处理，使得所述前景图像中深度值越小的像素区域对应的虚化程度越高，然后将后景图像和虚化后的所述前景图像进行融合，得到前景虚化效果的RGB图像。这样，可以使得RGB图像前景中景深越小的地方虚化的强度可以更高，以达到不同的虚化效果，提高用户的视觉体验。在一种可能的设计中，在得到后景或前景虚化效果的RGB图像之后，还可以将后景或前景虚化效果的RGB图像与原始的RGB图像进行加权融合。这样，可以有效消除图像模糊以及摩尔纹等问题。在一种可能的设计中，本申请实施例技术方案可以用于对视频图像进行虚化处理的场景。具体的，所述第一相机可以拍摄所述第一场景对应的视频，所述视频包括多帧连续的RGB图像，以及获取所述多帧连续的RGB图像中每帧RGB图像对应的第一深度图像，所述第二相机可以获取所述多帧连续的RGB图像中每帧RGB图像对应的深度信息；然后，针对所述多帧连续的RGB图像中的每帧RGB图像，利用所述第二相机获取到的该帧RGB图像对应的深度信息对该帧RGB图像对应的第一深度图像进行稠密化处理，以对该帧RGB图像对应的第一深度图像中的无效像素点进行补充，得到该帧RGB图像对应的第二深度图像；接着，可以利用所述多帧连续的RGB图像中每帧RGB图像对应的第二深度图像对该帧RGB图像进行前后景分割，获该帧RGB图像对应的前景图像和后景图像；最后，可以对所述多帧连续的RGB图像中每帧RGB图像对应的前景图像或后景图像进行虚化处理，获得每帧RGB图像对应的后景或前景虚化效果的深度图像。上述方案，在第一相机拍摄视频图像的基础上，结合了第二相机来获取被拍摄场景的深度信息，利用第二相机获取的高精度深度信息对第一相机拍摄的每帧RGB图像对应的第一深度图像进行稠密化处理以及前后景的分割，提高了视频前景边缘识别的精准度，即便在前景后景纹理、颜色等相似的场景下，也能够得到良好的边缘分割效果，可以提高视频虚化视觉体验。在一种可能的设计中，在对所述多帧连续的RGB图像中每帧RGB图像对应的前景图像或后景图像进行虚化处理之前，还可以将所述多帧连续的RGB图像中的N个相邻RGB图像进行加权融合，其中N为大于1的正整数，所述N个相邻RGB图像中每帧RGB图像对应的加权系数是基于所述第二相机获取到的帧RGB图像对应的深度信息和/或CNN识别出的该帧RGB图像的前后景边缘信息确定的。那么，在对所述后景图像或所述前景图像进行虚化处理时，具体可以是对加权融合后的RGB图像对应的后景图像或前景图像进行虚化处理。本实施方式，由于第二相机获得的相邻视频帧之间的深度信息具有较好的稳定性、CNN检测得到的相邻帧RGB图像之间的边缘信息具有较好的稳定性，所以基于第二相机获取到的相邻帧RGB图像对应的深度信息和/或CNN识别出的该帧RGB图像的前后景边缘信息来对相邻视频帧进行加权融合，可以使得加权融合处理后的相邻帧RGB图像之间的图像过渡更加自然，进而改善现有技术中双目相机在拍摄具有虚化效果的视频时，由于双目相机帧间稳定性差导致拍摄出的视频帧存在背景闪烁的问题。第二方面，提供一种电子设备，所述电子设备包括第一相机、第二相机、以及至少一个处理器，其中所述第一相机为双目相机或多目相机，所述第二相机为飞行时间ToF相机或结构光相机；所述处理器，用于响应于第一指令，启动所述第一相机和所述第二相机对第一场景执行拍摄操作；所述第一相机，用于对所述第一场景执行拍摄操作，获取所述第一场景对应的红绿蓝RGB图像和第一深度图像；所述第二相机，用于对所述第一场景执行拍摄操作，获取所述第一场景的深度信息；所述处理器，还用于利用所述第一场景的深度信息对所述第一深度图像进行稠密化处理，以对所述第一深度图像中的无效像本文档来自技高网...

【技术保护点】
1.一种图像虚化处理方法，其特征在于，应用于电子设备，所述电子设备上设置有第一相机和第二相机，其中所述第一相机为双目相机或多目相机，所述第二相机为飞行时间ToF相机或结构光相机，所述方法包括：/n响应于第一指令，启动所述第一相机和所述第二相机对第一场景执行拍摄操作，所述第一相机获取所述第一场景对应的红绿蓝RGB图像和第一深度图像，所述第二相机获取所述第一场景的深度信息；/n利用所述第一场景的深度信息对所述第一深度图像进行稠密化处理，以对所述第一深度图像中的无效像素点进行补充，得到第二深度图像，其中所述第二深度图像中的无效像素点的数量少于所述第一深度图像中的无效像素点的数量；/n利用所述第二深度图像对RGB图像进行前后景分割，得到前景图像和后景图像；/n对所述后景图像或所述前景图像进行虚化处理，得到后景或前景虚化效果的RGB图像。/n

【技术特征摘要】
1.一种图像虚化处理方法，其特征在于，应用于电子设备，所述电子设备上设置有第一相机和第二相机，其中所述第一相机为双目相机或多目相机，所述第二相机为飞行时间ToF相机或结构光相机，所述方法包括：
响应于第一指令，启动所述第一相机和所述第二相机对第一场景执行拍摄操作，所述第一相机获取所述第一场景对应的红绿蓝RGB图像和第一深度图像，所述第二相机获取所述第一场景的深度信息；
利用所述第一场景的深度信息对所述第一深度图像进行稠密化处理，以对所述第一深度图像中的无效像素点进行补充，得到第二深度图像，其中所述第二深度图像中的无效像素点的数量少于所述第一深度图像中的无效像素点的数量；
利用所述第二深度图像对RGB图像进行前后景分割，得到前景图像和后景图像；
对所述后景图像或所述前景图像进行虚化处理，得到后景或前景虚化效果的RGB图像。


2.如权利要求1所述的方法，其特征在于，利用所述第二深度图像对RGB图像进行前后景分割，包括：
利用所述第二深度图像和训练好的卷积神经网络CNN模型对所述RGB中的前后景进行分割；其中，所述训练好的CNN模型的输入为被拍摄主体为特定类型主体的RGB图像，输出为该图像中被拍摄主体对应的RGB图像部分。


3.如权利要求2所述的方法，其特征在于，所述特定类型主体为人像。


4.如权利要求1-3任一项所述的方法，其特征在于，对所述后景图像或所述前景图像进行虚化处理，得到后景或前景虚化效果的RGB图像，包括：
利用所述第二深度图像对RGB图像进行对所述后景图像进行虚化处理，其中所述后景图像中深度值越大的像素区域对应的虚化程度越高；将所述前景图像和虚化后的所述后景图像进行融合，得到背景虚化效果的RGB图像；或者
对所述前景图像进行虚化处理，其中所述前景图像中深度值越小的像素区域对应的虚化程度越高；将所述后景图像和虚化后的所述前景图像进行融合，得到前景虚化效果的RGB图像。


5.如权利要求1-3任一项所述的方法，其特征在于，在得到后景或前景虚化效果的RGB图像之后，还包括：
将所述后景或前景虚化效果的RGB图像与所述RGB图像进行加权融合。


6.如权利要求1-5任一项所述的方法，其特征在于，所述第一相机获取所述第一场景对应的RGB图像和第一深度图像，包括：
所述第一相机拍摄所述第一场景对应的视频，所述视频包括多帧连续的RGB图像，以及获取所述多帧连续的RGB图像中每帧RGB图像对应的第一深度图像；
所述第二相机获取所述第一场景的深度信息，包括：
所述第二相机获取所述多帧连续的RGB图像中每帧RGB图像对应的深度信息；
利用所述第一场景的深度信息对所述第一深度图像进行稠密化处理，得到第二深度图像，包括：
针对所述多帧连续的RGB图像中的每帧RGB图像，利用所述第二相机获取到的该帧RGB图像对应的深度信息对该帧RGB图像对应的第一深度图像进行稠密化处理，以对该帧RGB图像对应的第一深度图像中的无效像素点进行补充，得到该帧RGB图像对应的第二深度图像；
利用所述第二深度图像对RGB图像进行前后景分割，得到前景图像和后景图像，包括：
利用所述多帧连续的RGB图像中每帧RGB图像对应的第二深度图像对该帧RGB图像进行前后景分割，获该帧RGB图像对应的前景图像和后景图像；
对所述后景图像或所述前景图像进行虚化处理，得到后景或前景虚化效果的RGB图像，包括：
对所述多帧连续的RGB图像中每帧RGB图像对应的前景图像或后景图像进行虚化处理，获得每帧RGB图像对应的后景或前景虚化效果的深度图像。


7.如权利要求6所述的方法，其特征在于，在对所述多帧连续的RGB图像中每帧RGB图像对应的前景图像或后景图像进行虚化处理之前，还包括：
将所述多帧连续的RGB图像中的N个相邻RGB图像进行加权融合，其中N为大于1的正整数，所述N个相邻RGB图像中每帧RGB图像对应的加权系数是基于所述第二相机获取到的帧RGB图像对应的深度信息和/或CNN识别出的该帧RGB图像的前后景边缘信息确定的；
对所述后景图像或所述前景图像进行虚化处理，包括：
对加权融合后的RGB图像对应的后景图像或前景图像进行虚化处理。


8.一种电子设备，其特征在于，所述电子设备包括第一相机、第二相机、以及至少一个处理器，其中所述第一相机为双目相机或多目相机，所述第二相机为飞行时间ToF相机或结构光相机；
所述处理器，用于响应于第一指令，启动所述第一相机和所述第二相机对第一场景执行拍摄操作；
所述第一相机，用于对所述第一场景执行拍摄操作，获取所述第一场景对应的红绿蓝RGB图像和第一深度图像；
所述第二相机，...

【专利技术属性】
技术研发人员：罗钢，廖桂明，李自亮，戴兰平，朱聪超，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44