电子设备、控制电子设备的方法以及计算机可读存储介质技术

一种电子设备(100)，包括：主相机模块(11)，用于拍摄被摄物(101a和101b)的照片以得到主相机图像(201)；从属相机模块(12)，用于拍摄被摄物(101a和101b)的照片以得到从属相机图像(202)；距离传感器模块(20)，用于向被摄物(101a和101b)发射脉冲光并检测从被摄物(101a和101b)反射的脉冲光的反射光，以此得到飞行时间(ToF)深度信息(203)；以及图像信号处理器(30)，用于控制主相机模块(11)、从属相机模块(12)和距离传感器模块(20)，以根据主相机图像(201)、从属相机图像(202)和深度信息(203)，获得具有虚化的相机图像(209)。该具有虚化的相机图像(209)是具有一个或多个虚化部分的主相机图像。机图像。机图像。

【技术实现步骤摘要】
【国外来华专利技术】电子设备、控制电子设备的方法以及计算机可读存储介质


[0001]本申请涉及一种电子设备、一种控制电子设备的方法以及一种计算机可读存储介质。

技术介绍

[0002]目前，一种技术被广泛传播，即从具有景深较深的相机，如智能手机的相机，拍摄的图像中，人为地生成具有位于被摄物的前景或背景的物体的虚化图像的照片，如用数字单镜头反光相机(DSLR)拍摄的照片。
[0003]如果使用景深较深的相机拍摄照片，如智能手机的相机，可能会得到一个从短距离部分到长距离部分的焦点图像。因此，通过图像处理产生了虚化图像，在虚化图像中，需要引起注意的部分变得更加清晰，而该部分的前景和背景则变得模糊。
[0004]在这种产生人工虚化图像的技术中，采用了一种基于深度信息产生虚化图像的方法，该深度信息是利用通过双目立体视觉所拍摄的立体图像获得的。
[0005]然而，取决于物体表面的纹理，深度计算可能会失败，导致没有产生虚化。
[0006]例如，如果双目立体图像的图案没有沿极线的明显变化，或者，图像具有重复的图案，就不能准确地计算深度，使产生的虚化不合适。
[0007]由于目前可用的智能手机系统在立体处理方面属于黑盒子，用于这种系统的算法不能直接改进。因此，与立体处理有关的深度信息需要根据输入的立体图像和输出的深度信息来改进。此外，如果不能从立体图像和距离传感器得到合适的结果，就不容易确定可能有深度信息错误的部分应该放在前景中还是背景中。

技术实现思路

[0008]本专利技术旨在解决上述技术问题中的至少一个问题。据此，本专利技术需要提供一种电子设备和控制电子设备的方法。
[0009]本专利技术提供一种电子设备，包括：
[0010]主相机模块，用于对被摄物拍摄照片以得到主相机图像；
[0011]从属相机模块，用于对所述被摄物拍摄照片以得到从属相机图像；
[0012]距离传感器模块，通过利用光线，得到所述被摄物的深度信息；以及
[0013]图像信号处理器，控制所述主相机模块、所述从属相机模块和所述距离传感器模块，根据所述主相机图像、所述从属相机图像和所述深度信息，得到带有虚化的相机图像，所述带有虚化的相机图像为带有一个或多个虚化的主相机图像，
[0014]其中，所述图像信号处理器用于基于主相机图像和从属相机图像进行匹配处理得到立体图像，根据主相机图像和所述深度信息校正立体图像的深度信息，从而得到校正的深度信息；
[0015]所述图像信号处理器基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到所述带有虚化的相机图像。
[0016]在一些实施例中，所述距离传感器模块向所述被摄物发射脉冲光，并检测从所述被摄物反射的所述脉冲光的反射光，从而得到飞行时间(ToF)深度信息作为所述深度信息。
[0017]在一些实施例中，所述图像信号处理器执行不确定区域预估处理，以估计所述主相机图像的不确定区域，对所述不确定区域来说，对所述主相机图像和所述从属相机图像的匹配处理无法实施，以此得到所述主相机图像的不确定区域的不确定区域信息，以及
[0018]所述图像信号处理器执行深度校正，以基于所述ToF深度信息来校正与所述不确定区域有关的部分深度信息，从而得到校正的深度信息。
[0019]在一些实施例中，在深度校正的过程中，所述图像信号处理器利用与所述不确定区域有关的部分ToF深度信息替换与所述不确定区域有关的部分深度信息，从而得到所述校正的深度信息。
[0020]在一些实施例中，在深度校正的过程中，
[0021]所述图像信号处理器，通过将参考区域相对于目标区域移动预设移动量，对所述主相机图像进行自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度；
[0022]所述图像信号处理器检测一个区域，并将所述区域标记为所述不确定区域中的低纹理区域，在所述区域中，相对于所述预设移动量的相似度的变化小于预设值；以及
[0023]所述图像信号处理器检测出另一个区域，并将所述另一个区域标记为所述不确定区域中的重复图案区域，在所述另一个区域中，具有多个相对于所述预设运动量的相似度峰值。
[0024]在一些实施例中，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的平均值的或基于相对于所述预设运动量的相似度的模式值的频率等于或大于预设的标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述重复图案区域。
[0025]在一些实施例中，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的所述平均值的或基于相对于所述预设运动量的相似度的所述模式值的所述频率小于所述标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述低纹理区域。
[0026]在一些实施例中，在进行所述不确定区域预估处理的过程中，所述图像信号处理器进一步根据所述相似度的变化幅度对所述低纹理区域进行分类。
[0027]在一些实施例中，在自相关计算中，采用平方差之和(SSD)的方法、绝对差之和(SAD)的方法或归一化交叉相关(NCC)的方法来，计算相似度。
[0028]在一些实施例中，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在所述主相机图像中的极线方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。
[0029]在一些实施例中，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在与所述主相机图像中的所述极线的正交方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。
[0030]在一些实施例中，在进行所述深度校正的过程中，
[0031]所述图像信号处理器对所述主相机图像的区域进行标注，并根据所述深度信息获取每个标注区域的区域深度信息；
[0032]所述图像信号处理器基于所述ToF深度信息获取每个标记区域的区域ToF深度信息；以及
[0033]所述图像信号处理器比较每个标记区域的所述区域ToF深度信息和所述区域深度信息，如果所述区域深度信息和所述区域ToF深度信息之间的差值等于或大于预设值，则所述图像信号处理器利用所述区域ToF深度信息替换所述标记区域的所述深度信息。
[0034]在一些实施例中，在深度校正的过程中，如果所述区域深度信息和所述区域ToF深度信息之间的差值小于所述预设值，则所述图像信号处理器不会用所述区域ToF深度信息替换所述标记区域的所述深度信息。
[0035]在一些实施例中，在深度校正的过程中，
[0036]所述图像信号处理器参考对应于所述标记区域中每个像素的深度信息，并计算对应于所述标记区域的所述深度信息的平均值，从而得到所述区域深度信息；以及
[0037]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种电子设备，其特征在于，包括：主相机模块，用于对被摄物拍摄照片以得到主相机图像；从属相机模块，用于对所述被摄物拍摄照片以得到从属相机图像；距离传感器模块，用于根据光线，得到所述被摄物的深度信息；以及图像信号处理器，控制所述主相机模块、所述从属相机模块和所述距离传感器模块，根据所述主相机图像、所述从属相机图像和所述深度信息，得到带有虚化的相机图像，所述带有虚化的相机图像为带有一个或多个虚化的主相机图像，其中，所述图像信号处理器用于基于所述主相机图像和所述从属相机图像进行匹配处理得到立体图像，根据所述主相机图像和所述深度信息校正所述立体图像的深度信息，从而得到校正的深度信息；所述图像信号处理器基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到所述带有虚化的相机图像。2.根据权利要求1所述的电子设备，其特征在于，其中，所述距离传感器模块向所述被摄物发射脉冲光，并检测从所述被摄物反射的所述脉冲光的反射光，从而得到飞行时间(ToF)深度信息作为所述深度信息。3.根据权利要求2所述的电子设备，其特征在于，其中，所述图像信号处理器执行不确定区域预估处理，以估计所述主相机图像的不确定区域，对所述不确定区域来说，对所述主相机图像和所述从属相机图像的匹配处理无法实施，以此得到所述主相机图像的不确定区域的不确定区域信息，以及所述图像信号处理器执行深度校正，以基于所述ToF深度信息来校正与所述不确定区域有关的部分深度信息，从而得到校正的深度信息。4.根据权利要求3所述的电子设备，其特征在于，在深度校正的过程中，所述图像信号处理器利用与所述不确定区域有关的部分ToF深度信息替换与所述不确定区域有关的部分深度信息，从而得到所述校正的深度信息。5.根据权利要求4所述的电子设备，其特征在于，在深度校正的过程中，所述图像信号处理器，通过将参考区域相对于目标区域移动预设移动量，对所述主相机图像进行自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度；所述图像信号处理器检测一个区域，并将所述区域标记为所述不确定区域中的低纹理区域，在所述区域中，相对于所述预设移动量的相似度的变化小于预设值；以及所述图像信号处理器检测出另一个区域，并将所述另一个区域标记为所述不确定区域中的重复图案区域，在所述另一个区域中，具有多个相对于所述预设运动量的相似度峰值。6.根据权利要求5所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的平均值的或基于相对于所述预设运动量的相似度的模式值的频率等于或大于预设的标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述重复图案区域。7.根据权利要求6所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的所述平均值的或基于相对于所述预设运动量的相似度的所述模式值的所述频率小于所述标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述低纹理区域。
8.根据权利要求7所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，所述图像信号处理器进一步根据所述相似度的变化幅度对所述低纹理区域进行分类。9.根据权利要求5所述的电子设备，其特征在于，在自相关计算中，采用平方差之和(SSD)的方法、绝对差之和(SAD)的方法或归一化交叉相关(NCC)的方法来，计算相似度。10.根据权利要求9所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在所述主相机图像中的极线方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。11.根据权利要求10所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在与所述主相机图像中的所述极线的正交方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。12.根据权利要求3所述的电子设备，其特征在于，在进行所述深度校正的过程中，所述图像信号处理器对所述主相机图像的区域进行标注，并根据所述深度信息获取每个标注区域的区域深度信息；所述图像信号处理器基于所述ToF深度信息获取每个标记区域的区域ToF深度信息；以及所述图像信号处理器比较每个标记区域的所述区域ToF深度信息和所述区域深度信息，如果所述区域深度信...

【专利技术属性】
技术研发人员：青山千秋，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：