图像信号处理器的控制方法以及执行该方法的控制设备技术

本公开是一种用于人工神经网络的图像信号处理器的控制方法，上述方法可以被配置为包括：获取图像的步骤；确定与图像对应的至少一个图像特性数据的步骤；以及基于至少一个图像特性数据以及人工神经网络模型的推断准确度属性来确定用于提高人工神经网络模型的推断准确度的图像校正参数(SFR预设)的步骤。准确度的图像校正参数(SFR预设)的步骤。准确度的图像校正参数(SFR预设)的步骤。

【技术实现步骤摘要】
【国外来华专利技术】图像信号处理器的控制方法以及执行该方法的控制设备


[0001]本公开涉及一种图像信号处理器的控制方法以及执行该方法的控制设备。具体地，本公开涉及一种用于人工神经网络的图像信号处理器的控制方法以及执行该方法的控制设备。

技术介绍

[0002]相机可以通过经由图像信号处理器(ISP)处理从图像传感器获取的RAW图像数据来改善图像质量。此种图像信号处理器(ISP)通常由成像专家调整到其设置。由此一来，即使使用相同的RAW图像数据，图像处理结果也会根据操作者的倾向、视觉感知、认知能力等而不同。
[0003]另一方面，随着各种人工神经网络因机器学习的最近发展而移接到计算机视觉领域，正在开发各种用于检测用相机拍摄的图像中的对象的技术。如果使用由人调整相机设置的图像信号处理器(ISP)，则用于学习/验证/推断的图像数据可能会根据操作者的特性而不均一，因此提高人工神经网络模型的推断准确度存在限制。反而，人工神经网络模型的推断准确度可能会降低。
[0004]已进行了作为本公开的背景的描述，以使本公开更容易理解。其不应解释为承认本公开的
技术介绍
中描述的事项作为现有技术存在。

技术实现思路

[0005]技术问题
[0006]为了提高人工神经网络模型的检测率，既往公开过用于预处理传统RAW图像数据的分辨率的技术。然而，存在为此需要用于人工神经网络模型的单独的处理器的缺点。
[0007]另外，既往公开过在逐渐操纵传统图像信号处理器(ISP)的设置的同时，提高人工神经网络模型的检测率的技术。然而，由于没有从根本上考虑人工神经网络模型的特性，因此存在一个麻烦就是，每当向人工神经网络模型输入新的图像时，图像信号处理器必须重复执行上述操作。
[0008]由此，需要一种能够根据图像数据特性来选择人工神经网络模型的推断准确度属性并基于推断准确度属性来控制图像信号处理器(ISP)的参数的方法，以及用于执行该方法的装置。
[0009]由此，本公开的专利技术人试图开发一种能够根据图像数据特性来选择人工神经网络模型的推断准确度属性并基于推断准确度属性来控制图像信号处理器(ISP)的参数的方法，以及用于执行该方法的装置。
[0010]尤其是，本公开的专利技术人配置了一种方法及装置，以通过提供图像信号处理器(ISP)以根据图像特性细分预处理程度而使图像能够被均一地处理，从而显著提高人工神经网络模型的mAP(平均精度均值)。
[0011]本公开要解决的问题并不限于上述技术问题，本领域技术人员将通过以下描述清
楚地理解其他尚未提及的技术问题。
[0012]技术方案
[0013]为了解决上述问题，提供了根据本公开的一示例的用于人工神经网络的图像信号处理器的控制方法。
[0014]根据本公开的一示例的用于人工神经网络的图像信号处理器的控制方法可以包括：获取图像的步骤；确定与图像对应的至少一个图像特性数据的步骤；以及基于至少一个图像特性数据以及至少一个人工神经网络模型的推断准确度属性来确定用于提高人工神经网络模型的推断准确度的图像校正参数的步骤。
[0015]根据本公开的一示例，至少一个图像特性数据可以包括图像的直方图(RGB、CbCr、Y直方图)、RGB最大值、RGB最小值、像素值的均值、标准差、各个像素的RGB之和(色值之和)、信噪比(SNR)、频率组成以及边缘组成中的至少一个。
[0016]根据本公开的一示例，确定图像校正参数的步骤可以包括：分析指示人工神经网络模型的推断准确度的变化的推断准确度属性的步骤；以及基于推断准确度属性以及图像特性数据来确定用于确定输入至人工神经网络模型的图像的预处理的程度的图像校正参数的步骤。
[0017]根据本公开，分析推断准确度属性的步骤可以为确定基于图像的亮度、噪声、模糊水平、对比度以及色温中至少一个图像特性的人工神经网络模型的推断准确度的变化的步骤。
[0018]根据本公开的一示例，推断准确度的变化可以指示：根据图像的特性水平而变化的人工神经网络模型的推断准确度。
[0019]根据本公开的一示例，分析人工神经网络模型的推断准确度属性的步骤可以包括：基于至少一个图像特性来逐级调制应用于人工神经网络模型的参考图像数据集的步骤；以及计算针对在各个级调制的多个图像数据集的人工神经网络模型的平均精度均值(mAP)的步骤。
[0020]根据本公开的一示例，确定图像校正参数的步骤可以为利用与处理图像的图像信号处理器匹配的预设库来确定多个图像校正参数预设中的至少一个的步骤。
[0021]根据本公开的一示例，确定图像校正参数的步骤可以包括计算补偿函数的步骤，补偿函数用于通过将推断准确度属性与图像特性数据匹配来选择性地确定图像校正参数。
[0022]根据本公开的一示例，图像校正参数可以对应于处理图像的图像信号处理器的特殊功能寄存器的值。
[0023]根据本公开的一示例，用于人工神经网络的图像信号处理器的控制方法还可以包括：从处理图像的图像信号处理器接收基于图像校正参数的处理过的图像的步骤；以及通过向人工神经网络模型输入处理过的图像来输出推断结果的步骤。
[0024]根据本公开，用于人工神经网络的图像信号处理器的控制方法还可以包括识别能够获取和处理图像的图像传感器和图像信号处理器的步骤。
[0025]根据本公开的一示例，确定图像校正参数的步骤还可以包括通过控制图像传感器的拍摄参数来校正用于确定图像校正参数的补偿函数的步骤。
[0026]根据本公开的一示例，确定图像校正参数的步骤可以为基于存储于存储器中的多个人工神经网络模型的推断准确度属性来确定用于提高多个人工神经网络模型的推断准
确度的图像校正参数的步骤。
[0027]为了解决上述问题，提供了根据本公开另一示例的用于人工神经网络的图像处理系统。
[0028]根据本公开的一示例，用于人工神经网络的图像处理系统可以包括：图像信号处理器，该图像信号处理器被配置为对图像执行图像处理；以及补偿单元，该补偿单元可操作地联接至图像信号处理器。
[0029]根据本公开的一示例，补偿单元可以被配置为获取图像，生成与图像对应的至少一个图像特性数据，获得至少一个推断准确度属性，并且基于至少一个图像特性数据以及至少一个推断准确度属性来确定图像信号处理器的图像校正参数。
[0030]根据本公开的一示例，图像特性数据可以包括图像的直方图(RGB、CbCr、Y直方图)、RGB最大值、RGB最小值、像素值的均值、标准差、各个像素的RGB之和(色值之和)、信噪比(SNR)、频率组成以及边缘组成中的至少一个。
[0031]根据本公开的一示例，用于人工神经网络的图像处理系统还可以包括神经处理单元，该神经处理单元被配置为处理人工神经网络模型。
[0032]根据本公开的一示例，补偿单元可以被配置为基于至少一个推断准确度属性以及图像特性数据来选择性地确定用来确定输入至人工神经网络模型的图像的预处理的程度的图像校正参数。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于人工神经网络的图像信号处理器的控制方法，该控制方法包括以下步骤：获取图像的步骤；确定与所述图像对应的至少一个图像特性数据的步骤；以及基于所述至少一个图像特性数据以及至少一个人工神经网络模型的推断准确度属性来确定用于提高人工神经网络模型的推断准确度的图像校正参数的步骤。2.根据权利要求1所述的控制方法，其中，所述至少一个图像特性数据包括所述图像的直方图(RGB、CbCr、Y直方图)、RGB最大值、RGB最小值、像素值的均值、标准差、各个像素的RGB之和(色值之和)、信噪比(SNR)、频率组成以及边缘组成中的至少一个。3.根据权利要求1所述的控制方法，其中，确定所述图像校正参数的步骤还包括以下步骤：分析指示所述人工神经网络模型的推断准确度的变化的所述推断准确度属性的步骤；以及基于所述推断准确度属性以及所述图像特性数据来确定用于确定输入至所述人工神经网络模型的所述图像的预处理的程度的所述图像校正参数的步骤。4.根据权利要求3所述的控制方法，其中，分析所述推断准确度属性的步骤为以下步骤：确定基于所述图像的亮度、噪声、模糊水平、对比度以及色温中的至少一个图像特性的所述人工神经网络模型的所述推断准确度的变化。5.根据权利要求4所述的控制方法，其中，所述推断准确度的变化指示根据所述图像的特性水平而变化的所述人工神经网络模型的所述推断准确度。6.根据权利要求4所述的控制方法，其中，分析所述人工神经网络模型的所述推断准确度属性的步骤还包括以下步骤：基于所述至少一个图像特性来逐级调制应用于所述人工神经网络模型的参考图像数据集的步骤；以及针对在各个级调制的多个图像数据集计算所述人工神经网络模型的平均精度均值(mAP)的步骤。7.根据权利要求3所述的控制方法，其中，确定所述图像校正参数的步骤为以下步骤：利用与处理所述图像的所述图像信号处理器匹配的预设库来确定多个图像校正参数预设中的至少一个。8.根据权利要求3所述的控制方法，其中，确定所述图像校正参数的步骤还包括计算补偿函数的步骤，所述补偿函数用于通过将所述推断准确度属性与所述图像特性数据匹配来选择性地确定所述图像校正参数。9.根据权利要求1所述的控制方法，其中，所述图像校正参数对应于处理所述图像的所述图像信号处理器的特殊功能寄存器的值。10.根据权利要求1所述的控制方法，所述控制方法还包括以下步骤：
从处理所述图像的所述图像信号处理器接收基于所述图像校正参数的处理过的图像的步骤；以及通过向所述人工神经网络模型输入所述处理过的图像来输出推断结果的步骤。11.根据权利要求1所述的控制方法，所述控制方法还包括以下步骤：识别能够获取和处理所述图像的图像传感器和所述图像信号处理器的步骤。12.根据权利要求1所述的控制方法，其中，确定所述图像校正参数的步骤还包括通过控制图像传感器的拍摄参数来校正用于确定所述图像校正参数的补偿函数的步骤。13.根据权利要求1所述的控...

【专利技术属性】
技术研发人员：金錄元，李善美，任一明，
申请(专利权)人：蒂普爱可斯有限公司，
类型：发明
国别省市：