图像处理方法、用户界面及电子设备技术

本申请公开了图像处理方法、用户界面与电子设备，该方法应用于包含TOF摄像头和彩色摄像头的电子设备。该方法包括：电子设备利用TOF摄像头，在开启和关闭红外投射器时采集包含目标人物的红外图像IR1、IR2，利用彩色摄像头采集包含目标人物的彩色图像，通过对红外图像IR1和红外图像IR2进行差分处理，获得去除背景的前景图像，再根据该前景图像中目标人物所在的前景区域，确定彩色图像中的前景区域，从而实现彩色图像中人像与背景分离的效果，获得仅包含或仅突出人像的人物图像。该方法实现了目标人物所在前景和背景在图像中的快速分割，为现有的人像分割技术提供了新的思路，改进了人像分割的不足，扩大了人像分割的应用场景。扩大了人像分割的应用场景。扩大了人像分割的应用场景。

【技术实现步骤摘要】
图像处理方法、用户界面及电子设备


[0001]本申请涉及终端及通信
，尤其涉及图像处理方法、用户界面及电子设备。

技术介绍

[0002]随着智能移动设备的发展，用户不再仅仅满足于智能移动设备上简单的拍摄功能，而是拍摄功能与丰富的图像处理技术的结合应用。人像分割是一种将人像从图像中分离出来的技术，在智能移动设备中的人像背景虚化，图像背景替换等图像处理方面有着广泛的应用。但是，由于拍摄过程中的光线、物体颜色、物体移动、设备抖动等因素的影响，容易出现人像分割错误、分割边缘模糊等等分离效果不佳的现象。因此，如何改善人像分割的不足，是目前亟待解决的问题。

技术实现思路

[0003]本申请提供了图像处理方法、用户界面及电子设备，可利用彩色摄像头采集的彩色图像以及飞行时间TOF摄像头采集的红外图像，确定彩色图像中目标人物所在的前景区域，实现精准且快速的人像分割。
[0004]第一方面，本申请提供了一种图像处理方法，该方法应用于包括彩色摄像头和飞行时间TOF摄像头的电子设备，该方法包括：电子设备使用彩色摄像头采集包含第一物体的第一彩色图像，使用TOF摄像头采集包含第一物体的第一红外图像和第二红外图像；第一红外图像由TOF摄像头提供红外光时采集得到，第二红外图像由TOF摄像头未提供红外光时采集得到；电子设备使用第二红外图像对第一红外图像做差分处理，得到第三红外图像；电子设备根据第三红外图像中像素值大于第一值的第一区域的位置，确定第一彩色图像中的第一物体所在的第二区域；电子设备保留第一彩色图像中第二区域的像素值，更改第一区域以外的像素值，得到第二彩色图像。
[0005]实施第一方面的方法，电子设备可以利用开启和关闭红外光源时，第一物体(例如目标人物)所在前景范围的成像区别，实现第一物体所在的前景与背景在图像中的快速分割，从而获得仅包含或仅突出第一物体的图像。在具体应用中，该图像处理方法可以应用于人像和背景的快速分割，从而获得仅包含或仅突出人像的人物图像，为人像分割技术提供新的思路，改进人像分割的不足。
[0006]结合第一方面，在一种实施方式中，第二区域在第一彩色图像中的位置和大小，与，第一区域在第三红外图像中的位置和大小，相同。
[0007]也即是说，在电子设备确定红外图像中的第一物体(例如目标人物)所在的第一区域后，可以忽略摄像头的物理位置对图像的影响，这时红外摄像头与TOF摄像头采集的图像中，第一物体在图像中的位置相同。电子设备可以根据第一区域在第三红外图像的大小和位置，确定第一彩色图像中相同大小和位置的第一物体所在的第二区域。这样，可以快速地根据红外图像中的前景区域，确定彩色图像中的目标人物所在的前景区域。
[0008]结合第一方面，在一种实施方式中，电子设备确定第一彩色图像中的第一物体所
在的第二区域，具体包括：电子设备利用彩色摄像头和TOF摄像头的标定参数，在坐标系中以第一彩色图像为参考，调整第三红外图像的位置，使得第三红外图像中的第一物体，和，第一彩色图像中的第一物体，的位置相同；电子设备确定第一彩色图像中第一物体所在的第二区域；第二区域在坐标系中的位置和大小，与，第一区域在坐标系中的位置和大小，相同。
[0009]也即是说，在电子设备确定红外图像中的第一物体(例如目标人物)所在的第一区域后，可以考虑摄像头的物理位置对图像的影响，这时红外图像与TOF摄像头采集的图像中，第一物体在图像中的位置不同。那么，电子设备可以先利用摄像头的标定参数对齐不同摄像头采集的图像，在对齐图像后再根据第一区域确定第二区域，从而实现更加精准的人像分割。
[0010]结合第一方面，在一种实施方式中，第一红外图像和第二红外图像中均包括电子设备使用TOF摄像头在N个曝光时间下采集的图像，电子设备使用第二红外图像对第一红外图像做差分处理，得到第三红外图像，具体包括：电子设备针对每个曝光时间，使用第二红外图像对第一红外图像做差分处理，获得N张图像，将N张图像中清晰度最高的图像确定为第三红外图像。
[0011]具体地，在电子设备采集红外图像时，电子设备可以在多个曝光时间下采集多个红外图像，从而获得多个差分处理后的红外图像，并从中选出最清晰的图像来确定第一物体所在的第一区域，这样，可以提高第一区域的准确度，进而提高人像分割的精度。
[0012]结合第一方面，在一种实施方式中，N个曝光时间为电子设备预置的参数。
[0013]也即是说，电子设备可以预存有这N个曝光时间，在电子设备检测到拍摄操作时，即可根据预存的这N个曝光时间，拍摄N组红外图像。
[0014]结合第一方面，在一种实施方式中，电子设备使用彩色摄像头采集包含第一物体的第一彩色图像，使用TOF摄像头采集包含第一物体的第一红外图像和第二红外图像之前，方法还包括：电子设备在小于第二值的光照强度下，利用TOF摄像头采集图像，在TOF摄像头采集的图像参数位于预设范围时，获取TOF摄像头的第一曝光时间；电子设备在大于第三值的光照强度下，利用TOF摄像头采集图像，在TOF摄像头采集的图像参数位于预设范围时，获取TOF摄像头的第二曝光时间；电子设备在第一曝光时间和第二曝光时间所在的范围内选取N个曝光时间。
[0015]具体地，可以在对电子设备进行出厂测试时，将电子设备分别置于强光环境和暗光环境下，在TOF摄像头启动自动曝光时采集图像，从而确定这N个曝光时间。其中，电子设备获取两种极端环境，即暗光环境和强光环境下，TOF摄像头采集图像时的曝光时间，即可确定两种极端光照强度下，曝光时间的最大值和最小值，从而涵盖实际拍摄过程中的不同光照强度下，TOF摄像头可以使用的曝光时间范围。
[0016]结合第一方面，在一种实施方式中，电子设备确定第一彩色图像中的第一物体所在的第二区域之前，方法还包括：电子设备使用TOF摄像头采集包含第一物体的深度图像；电子设备识别第一彩色图像中部分或全部第一物体所在的第三区域；电子设备根据第三区域在第一彩色图像中的位置，确定深度图像中部分或全部第一物体所在的第四区域；电子设备确定深度图像中的第五区域，第五区域的深度值与第四区域的深度值的差值小于第四值；电子设备根据第三红外图像中像素值大于第一值的第一区域的位置，确定第一彩色图
像中的第一物体所在的第二区域，具体包括：电子设备根据第六区域在第三红外图像中的位置，确定第一彩色图像中的第二区域，第六区域包括第三红外图像中第一区域与第七区域的交集，第七区域在第三红外图像中的位置和大小，与，第五区域在深度图像中的位置和大小，相同。
[0017]电子设备在利用TOF摄像头拍摄红外图像的过程中，还可以利用TOF摄像头拍摄并获得包含目标人物的深度图像。电子设备可以结合彩色图像和深度图像确定深度图像中目标人物所在的前景区域，并根据该前景区域进一步校准前景图像中目标人物所在的前景区域，提高彩色图像中人像分割的精确度。
[0018]结合第一方面，在一种实施方式中，电子设备使用彩色摄像头采集包含第一物体的第一彩色图像，使用TOF摄像头采集包含第一物体的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法应用于包括彩色摄像头和飞行时间TOF摄像头的电子设备，所述方法包括：所述电子设备使用所述彩色摄像头采集包含第一物体的第一彩色图像，使用所述TOF摄像头采集包含所述第一物体的第一红外图像和第二红外图像；所述第一红外图像由所述TOF摄像头提供红外光时采集得到，所述第二红外图像由所述TOF摄像头未提供红外光时采集得到；所述电子设备使用所述第二红外图像对所述第一红外图像做差分处理，得到第三红外图像；所述电子设备根据所述第三红外图像中像素值大于第一值的第一区域的位置，确定所述第一彩色图像中的所述第一物体所在的第二区域；所述电子设备保留所述第一彩色图像中所述第二区域的像素值，更改所述第一区域以外的像素值，得到第二彩色图像。2.根据权利要求1所述的方法，其特征在于，所述第二区域在所述第一彩色图像中的位置和大小，与，所述第一区域在所述第三红外图像中的位置和大小，相同。3.根据权利要求1或2所述的方法，其特征在于，所述电子设备确定所述第一彩色图像中的所述第一物体所在的第二区域，具体包括：所述电子设备利用所述彩色摄像头和所述TOF摄像头的标定参数，在坐标系中以所述第一彩色图像为参考，调整所述第三红外图像的位置，使得所述第三红外图像中的第一物体，和，所述第一彩色图像中的第一物体，的位置相同；所述电子设备确定所述第一彩色图像中所述第一物体所在的第二区域；所述第二区域在所述坐标系中的位置和大小，与，所述第一区域在所述坐标系中的位置和大小，相同。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述第一红外图像和所述第二红外图像中均包括所述电子设备使用所述TOF摄像头在N个曝光时间下采集的图像，所述电子设备使用所述第二红外图像对所述第一红外图像做差分处理，得到第三红外图像，具体包括：所述电子设备针对每个曝光时间，使用所述第二红外图像对所述第一红外图像做差分处理，获得N张图像，将所述N张图像中清晰度最高的图像确定为所述第三红外图像。5.根据权利要求4所述的方法，其特征在于，所述N个曝光时间为所述电子设备预置的参数。6.根据权利要求4或5所述的方法，其特征在于，所述电子设备使用所述彩色摄像头采集包含第一物体的第一彩色图像，使用所述TOF摄像头采集包含所述第一物体的第一红外图像和第二红外图像之前，所述方法还包括：所述电子设备在小于第二值的光照强度下，利用所述TOF摄像头采集图像，在所述TOF摄像头采集的图像参数位于预设范围时，获取所述TOF摄像头的第一曝光时间；所述电子设备在大于...

【专利技术属性】
技术研发人员：周俊伟，刘小伟，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：