图像处理方法、装置以及电子设备制造方法及图纸

本申请实施例公开了一种图像处理方法、装置以及电子设备。方法包括：获取第一深度图像以及与第一深度图像对应的彩色图像；对第一深度图像进行插值处理，得到参考深度图像；基于参考深度图像得到对应的数据保真约束函数，以及基于参考深度图像以及彩色图像得到平滑特性约束函数；基于数据保真约束函数以及平滑特性约束函数，得到深度图像表达函数；基于最优化方式获取深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于更新后的深度值得到第二深度图像。该方法实现了在原本的深度图像分辨率交底的情况下，可以通过与原本的深度图像对应的彩色图像来实现对原本的深度图像进行分辨率提升。

【技术实现步骤摘要】
图像处理方法、装置以及电子设备
本申请涉及图像处理
，更具体地，涉及一种图像处理方法、装置以及电子设备。
技术介绍
在电子设备配置有图像采集装置后，电子设备可以通过该图像采集装置来进行图像采集。例如，拍摄图片或者录制视频等。而随着图像采集装置的升级，部分图像采集装置可以采集深度图像，但是相关的图像采集装置所采集的深度图像的通常存在分辨率低下的问题。
技术实现思路
鉴于上述问题，本申请提出了一种图像处理方法、装置以及电子设备，以实现改善上述问题。第一方面，本申请提供了一种图像处理方法，应用于电子设备，所述方法包括：获取第一深度图像以及与所述第一深度图像对应的彩色图像；对所述第一深度图像进行插值处理，得到参考深度图像；基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数；基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数；基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。第二方面，本申请提供了一种图像处理装置，运行于电子设备，所述装置包括：图像输入单元，用于获取第一深度图像以及与所述第一深度图像对应的彩色图像；插值处理单元，用于对所述第一深度图像进行插值处理，得到参考深度图像；第一函数生成单元，用于基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数；第二函数生成单元，用于基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数；图像处理单元，用于基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。第三方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。第四方面，本申请提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。本申请提供的一种图像处理方法、装置以及电子设备，在获取第一深度图像以及与所述第一深度图像对应的彩色图像后，对所述第一深度图像进行插值处理，得到参考深度图像，然后基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数，进而基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数，最终基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。从而通过上述方式可以使得在得到第一深度图像以及与所述第一深度图像对应的彩色图像后，可以得到分辨率提升后的第二深度图像，进而实现了在原本的深度图像分辨率交底的情况下，可以通过与原本的深度图像对应的彩色图像来实现对原本的深度图像进行分辨率提升。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请提出的一种图像处理方法的流程图；图2示出了本申请提出的一种彩色图像与深度图像对应的示意图；图3示出了本申请提出的两个图像中位置对应的像素的示意图；图4示出了本申请提出的另一种图像处理方法的流程图；图5示出了图4所示的图像处理方法的流程图中S240的一种流程图；图6示出了本申请提出的像素的邻域的示意图；图7示出了图4所示的图像处理方法的流程图中S250的一种流程图；图8示出了本申请提出的再一种图像处理方法的流程图；图9示出了本申请提出的又一种图像处理方法的流程图；图10示出了本申请提出的另一种图像处理装置的结构框图；图11示出了本申请提出的再一种图像处理装置的结构框图；图12示出了本申请提出的一种电子设备的结构框图；图13是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。随着更多的电子设备配置有图像采集装置，电子设备用户更加习惯使用电子设备的图像采集装置进行图像采集。例如，使用电子设备拍摄图片，或者使用电子设备采集视频等。而随着图像采集装置的升级，部分图像采集装置可以采集深度图像。其中，深度图像(depthimage)也被称为距离影像(rangeimage)，是指将从图像采集装置到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。但是，专利技术人在对具备采集深度图像的图像采集器件进行研究中发现，相关的图像采集装置所采集的深度图像的通常存在分辨率低下的问题，进而造成电子设备后续可能无效有效的对所采集的深度图像进行利用。因此，专利技术人提出了本申请中的一种图像处理方法、装置以及电子设备，在获取第一深度图像以及与所述第一深度图像对应的彩色图像后，对所述第一深度图像进行插值处理，得到参考深度图像，然后基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数，进而基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数，最终基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。从而通过上述方式可以使得在得到第一深度图像以及与所述第一深度图像对应的彩色图像后，可以得到分辨率提升后的第二深度图像，进而实现了在原本的深度图像分辨率交底的情况下，可以通过与原本的深度图像对应的彩色图像来实现对原本的深度图像进行分辨率提升。请参阅图1，本申请提供的一种图像处理方法，应用于电子设备，所述方法包括：S110：获取第一深度图像以及与所述第一深度图像对应的彩色图像。其中，需要说明的是，深度图像是包含与视点的场景对象的表面的距离有关的信息的图像。彩色图像可以理解为每个像素由多个颜色通道的分量构成的图像。其中，多个颜色通道可以为RGB模式的颜色通道，也可以为基于CMYK模式的颜色通道。而本申请实施例中所提供的图像处理方法是可以通过彩色图像来对深度图像的分辨率进行提升，那么用于对深度图像进行分辨率提升的彩色图像的图像内容则会和需要进本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：/n获取第一深度图像以及与所述第一深度图像对应的彩色图像；/n对所述第一深度图像进行插值处理，得到参考深度图像；/n基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数；/n基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数；/n基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：
获取第一深度图像以及与所述第一深度图像对应的彩色图像；
对所述第一深度图像进行插值处理，得到参考深度图像；
基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数；
基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数；
基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。


2.根据权利要求1所述的方法，其特征在于，所述基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数，包括：
基于所述参考深度图像中每个像素的邻域中第一像素的邻域以及第二像素的邻域，确定所述参考深度图像中每个像素对应的自适应参数，其中，所述第一像素为每个像素的邻域中对应深度值最小的像素，所述第二像素为每个像素的邻域中对应深度值最大的像素；
基于所述彩色图像中每个像素各自对应的多个颜色通道的值，确定所述彩色图像中每个像素对应的权重系数；
基于所述参考深度图像中每个像素对应的自适应参数，以及所述彩色图像中每个像素对应的权重系数，得到平滑特性约束函数。


3.根据权利要求2所述的方法，其特征在于，所述基于所述参考深度图像中每个像素的邻域中第一像素的邻域以及第二像素的邻域，确定所述参考深度图像中每个像素对应的自适应参数，包括：
获取第一中间值，所述第一中间值为参考深度图像中每个像素的邻域中第一像素的邻域所包括像素的像素值之和；
获取第二中间值，所述第二中间值为参考深度图像中每个像素的邻域中第二像素的邻域所包括像素的像素值之和；
获取所述第一中间值与所述第二中间值的比值作为每个像素对应的中间变量；
基于中间变量与自适应参数的对应关系以及每个像素对应的中间变量，得到每个像素对应的自适应参数。


4.根据权利要求2所述的方法，其特征在于，所述基于所述彩色图像中每个像素各自对应的多个颜色通道的值，确定所述彩色图像中每个像素对应的权重系数，包括：
获取所述彩色图像中当前像素的第三中间值，所述第三中间值为第一指定指数函数的值，所述第一指定指数函数的底数为e，指数为所述当前像素与所述当前像素的邻域中的目标像素的位置信息的差值的平方与第一中间参数的比值对应的负数；
获取所述彩色图像中当前像素的第四中间值，所述第四中间值为第二指定指数函数的值，所述第二指定指数函数的底数为e，指数为所述当前像素与所述当前像素的邻域中的目标像素的在多个颜色...

【专利技术属性】
技术研发人员：王锡浩，黄晗，郭彦东，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44