基于对象分类的图像处理制造技术

描述了将针对图像捕获的不同设置应用于图像数据的不同部分的示例。例如，图像传感器可以捕获场景的图像数据，并且可以将图像数据发送给图像信号处理器(ISP)和分类引擎以进行处理。分类引擎可以确定第一对象图像区域描绘第一对象类别并且第二对象图像区域描绘第二对象类别。图像数据的不同置信度区域可以识别分类中的不同置信度程度。ISP可以通过对图像数据的不同部分应用不同的设置来生成图像。可以基于对象图像区域和置信度区域来识别图像数据的不同部分。数据的不同部分。数据的不同部分。

【技术实现步骤摘要】
【国外来华专利技术】基于对象分类的图像处理


[0001]概括而言，本申请与图像捕获和图像处理相关。更具体地，本申请涉及基于对拍摄场景中的对象的分类而自动地引导对照片的图像处理的系统和方法。

技术介绍

[0002]图像捕获设备使用具有光电二极管阵列的图像传感器，通过来自场景的第一光来捕获图像。然后，图像信号处理器(ISP)将由图像传感器的光电二极管捕获的原始图像数据处理成可以由用户存储和查看的图像。如何在图像中描绘场景部分地取决于控制图像传感器接收到多少光的捕获设置，诸如曝光时间设置和光圈大小设置。如何在图像中描绘场景还取决于如何调谐ISP以将由图像传感器捕获的光电二极管数据处理成图像。
[0003]传统上，图像捕获设备的ISP仅在制造期间被调谐一次。ISP的调谐影响在该图像捕获设备中处理每个图像的方式，并且影响每个图像的每个像素。用户通常期望图像捕获设备捕获高质量的图像，而不管拍摄什么场景。为了避免图像捕获设备无法正确地拍摄某些类型的场景的情形，通常选择对ISP的调谐以合理地适用于尽可能多的场景类型。然而，正因为如此，对于拍摄所有类型的场景，对传统ISP的调谐通常不是最佳的。

技术实现思路

[0004]本文描述了用于确定和应用针对不同图像区域的不同ISP设置的系统和技术。在一些示例中，图像捕获和处理设备可以针对不同图像区域使用不同ISP设置，来处理由图像传感器捕获的原始图像数据。在一些情况下，分类引擎可以基于对原始图像数据中的不同图像区域内的不同对象类型的检测，将原始图像数据划分为不同的对象图像区域。通过针对图像中的不同区域应用不同ISP设置，ISP被优化用于在图像中所描绘的对象类型。在一个说明性示例中，ISP可以使用增强图像的描绘人的头发的区域中的锐度的ISP设置，这可以增强头发的纹理清晰度。在相同的图像内，ISP可以使用降低图像的描绘人的皮肤的区域中的锐度并且增强降噪的不同ISP设置，这可以导致描绘更光滑的皮肤的经处理的图像。图像数据的不同置信度区域可以标识分类中的不同置信度程度。可以基于置信度来进一步修改设置。特定ISP参数(诸如降噪、锐度、色彩饱和度或色调映射)的强度可以基于在像素处描绘的对象类别和该分类的置信度水平，从针对该像素的默认值来调整。例如，可以将与特定对象类别相关联的默认值的增加或减小缓和(如果该分类的置信度水平是低的)，而如果该分类的置信度水平是高的，则将其增大。
[0005]在一个示例中，提供了一种用于数据编码的装置。所述装置包括：存储器；以及耦合到所述存储器的一个或多个处理器(例如，在电路系统中实现)。所述一个或多个处理器被配置为：接收由图像传感器捕获的图像数据；确定所述图像数据中的第一对象图像区域描绘多个对象类别中的第一对象类别；确定所述图像数据中的第二对象图像区域描绘所述多个对象类别中的第二对象类别；识别对应于所述图像数据中的多个置信度图像区域的多个置信度水平，其中，所述多个置信度水平中的每个置信度水平标识关于所述多个置信度
图像区域中的对应置信度图像区域描绘所述多个对象类别中的一个对象类别的置信度；以及使用图像捕获过程，基于所述图像数据来生成图像，包括通过将针对所述图像捕获过程的不同设置应用于所述图像数据的不同部分，所述图像数据的所述不同部分是基于所述第一对象图像区域、所述第二对象图像区域、以及所述多个置信度图像区域来识别的。
[0006]在另一示例中，提供了一种图像处理的方法。所述方法包括：接收由图像传感器捕获的图像数据。所述方法包括：确定所述图像数据中的第一对象图像区域描绘多个对象类别中的第一对象类别。所述方法包括：确定所述图像数据中的第二对象图像区域描绘所述多个对象类别中的第二对象类别。所述方法包括：识别对应于所述图像数据中的多个置信度图像区域的多个置信度水平，其中，所述多个置信度水平中的每个置信度水平标识关于所述多个置信度图像区域中的对应置信度图像区域描绘所述多个对象类别中的一个对象类别的置信度。所述方法包括：使用图像捕获过程，基于所述图像数据来生成图像，包括通过将针对所述图像捕获过程的不同设置应用于所述图像数据的不同部分，所述图像数据的所述不同部分是基于所述第一对象图像区域、所述第二对象图像区域、以及所述多个置信度图像区域来识别的。
[0007]在另一示例中，提供了一种非暂时性计算机可读存储介质，其具有存储在其上的指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：接收由图像传感器捕获的图像数据；确定所述图像数据中的第一对象图像区域描绘多个对象类别中的第一对象类别；确定所述图像数据中的第二对象图像区域描绘所述多个对象类别中的第二对象类别；识别对应于所述图像数据中的多个置信度图像区域的多个置信度水平，其中，所述多个置信度水平中的每个置信度水平标识关于所述多个置信度图像区域中的对应置信度图像区域描绘所述多个对象类别中的一个对象类别的置信度；以及使用图像捕获过程，基于所述图像数据来生成图像，包括通过将针对所述图像捕获过程的不同设置应用于所述图像数据的不同部分，所述图像数据的所述不同部分是基于所述第一对象图像区域、所述第二对象图像区域、以及所述多个置信度图像区域来识别的。
[0008]在另一示例中，提供了一种用于图像处理的装置。所述装置包括：用于接收由图像传感器捕获的图像数据的单元。所述装置包括：用于确定所述图像数据中的第一对象图像区域描绘多个对象类别中的第一对象类别的单元。所述装置包括：用于确定所述图像数据中的第二对象图像区域描绘所述多个对象类别中的第二对象类别的单元。所述装置包括：用于识别对应于所述图像数据中的多个置信度图像区域的多个置信度水平的单元，其中，所述多个置信度水平中的每个置信度水平标识关于所述多个置信度图像区域中的对应置信度图像区域描绘所述多个对象类别中的一个对象类别的置信度。所述装置包括：用于使用图像捕获过程，基于所述图像数据来生成图像的单元，包括通过将针对所述图像捕获过程的不同设置应用于所述图像数据的不同部分，所述图像数据的所述不同部分是基于所述第一对象图像区域、所述第二对象图像区域、以及所述多个置信度图像区域来识别的。
[0009]在一些方面中，上述方法、装置和计算机可读介质还包括：生成一个或多个修改量，所述一个或多个修改量标识以下各项中的至少一项：针对所述第一对象图像区域的与针对所述图像捕获过程的默认设置的第一偏差、以及针对所述第二对象图像区域的与针对所述图像捕获过程的所述默认设置的第二偏差，其中，针对所述图像捕获过程的所述不同设置是基于所述一个或多个修改量的。在一些方面中，上述方法、装置和计算机可读介质还
包括：调整所述一个或多个修改量，包括将所述一个或多个修改量与基于对应于所述多个置信度图像区域的所述多个置信度水平的混合更新进行混合，其中，将所述一个或多个修改量与所述混合更新进行混合用于调整所述图像数据中的至少一个区域中的所述第一偏差和所述第二偏差中的至少一项。
[0010]在一些方面中，上述方法、装置和计算机可读介质还包括：生成类别图，所述类别图将所述图像数据划分为包括所述第一对象图像区域和所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于图像处理的装置，所述装置包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：接收由图像传感器捕获的图像数据；确定所述图像数据中的第一对象图像区域描绘多个对象类别中的第一对象类别；确定所述图像数据中的第二对象图像区域描绘所述多个对象类别中的第二对象类别；识别对应于所述图像数据中的多个置信度图像区域的多个置信度水平，其中，所述多个置信度水平中的每个置信度水平标识关于所述多个置信度图像区域中的对应置信度图像区域描绘所述多个对象类别中的一个对象类别的置信度；以及至少部分地通过以下操作，使用图像捕获过程，基于所述图像数据来生成图像：将针对所述图像捕获过程的不同设置应用于所述图像数据的不同部分，所述图像数据的所述不同部分是基于所述第一对象图像区域、所述第二对象图像区域、以及所述多个置信度图像区域来识别的。2.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：生成一个或多个修改量，所述一个或多个修改量标识以下各项中的至少一项：针对所述第一对象图像区域的与针对所述图像捕获过程的默认设置的第一偏差、以及针对所述第二对象图像区域的与针对所述图像捕获过程的所述默认设置的第二偏差，其中，针对所述图像捕获过程的所述不同设置是基于所述一个或多个修改量的。3.根据权利要求2所述的装置，其中，所述一个或多个处理器被配置为：调整所述一个或多个修改量，包括将所述一个或多个修改量与基于对应于所述多个置信度图像区域的所述多个置信度水平的混合更新进行混合，其中，将所述一个或多个修改量与所述混合更新进行混合用于调整所述图像数据中的至少一个区域中的所述第一偏差和所述第二偏差中的至少一项。4.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：生成类别图，所述类别图将所述图像数据划分为包括所述第一对象图像区域和所述第二对象图像区域的多个对象图像区域，其中，所述多个对象图像区域中的每个对象图像区域对应于所述多个对象类别中的一个对象类别；识别所述第一对象类别对应于针对所述图像捕获过程的第一设置；以及识别所述第二对象类别对应于针对所述图像捕获过程的第二设置。5.根据权利要求4所述的装置，其中，所述一个或多个处理器被配置为：生成置信度图，所述置信度图将所述图像数据划分为对应于所述多个置信度水平的所述多个置信度图像区域，所述图像数据的所述不同部分是基于所述类别图和所述置信度图来识别的。6.根据权利要求1所述的装置，其中，所述图像捕获过程包括使用所述一个或多个处理器的图像信号处理器(ISP)来处理所述图像数据，其中，针对所述图像捕获过程的所述不同设置是针对所述ISP的不同调谐设置。7.根据权利要求6所述的装置，其中，针对所述ISP的所述不同调谐设置包括在使用所述ISP处理所述图像数据期间应用ISP调谐参数的不同强度，其中，所述ISP调谐参数是降噪、锐化、色彩饱和度、色彩映射、色彩处理和色调映射中的一项。
8.根据权利要求1所述的装置，其中，所述不同设置包括与以下各项中的至少一项相关联的设置：镜头位置、闪光灯、聚焦、曝光、白平衡、光圈大小、快门速度、ISO、模拟增益、数字增益、去噪、锐化、色调映射、色彩饱和度、去马赛克、色彩空间转换、着色、边缘增强、针对高动态范围(HDR)的图像组合、特效、人工噪声添加、边缘定向放大、放大、缩小、以及电子图像稳定。9.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：处理所述图像数据，包括以下操作中的至少一项操作：将所述图像数据去马赛克、以及将所述图像数据从第一色彩空间转换到第二色彩空间。10.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：接收与所述第一对象图像区域和所述第二对象图像区域中的至少一项相关联的用户输入，其中，所述不同设置中的至少一个设置是基于所述用户输入来定义的，并且对应于所述第一对象图像区域和所述第二对象图像区域中的一项。11.根据权利要求1所述的装置，其中，所述一个或多个处理器包括图像信号处理器(ISP)，其将针对所述图像捕获过程的所述不同设置应用于所述图像数据的所述不同部分。12.根据权利要求1所述的装置，其中，所述一个或多个处理器包括识别至少所述第一对象图像区域和所述第二对象图像区域的分类引擎，其中，所述分类引擎至少部分地位于集成电路芯片上。13.根据权利要求1所述的装置，其中，所述装置是移动设备、无线通信设备和相机中的一项。14.根据权利要求1所述的装置，还包括：图像传感器。15.根据权利要求1所述的装置，还包括：显示所述图像的显示器。16.一种图像处理的方法，所述方法包括：接收由图像传感器捕获的图像数据；确定所述图像数据中的第一对象图像区域描绘多个对象类别中的第一对象类别；确定所述图像数据中的第二对象图像区域描绘所述多个对象类别中的第二对象类别；识别对应于所述图像数据...

【专利技术属性】
技术研发人员：E，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：