用于确定相机传感器的图像捕获退化的系统和方法技术方案

本发明专利技术公开了一种用于确定相机传感器的图像捕获退化的系统。该系统被配置为由车辆的相机随时间捕获一系列图像帧。该系统被配置为从由该相机捕获的一系列图像生成潜像。该系统通过例如执行高频率多尺度融合变换来基于该潜像生成多个频率层。该系统生成多个频率层，每个频率层对应光谱子带频率，并且每个频率层包括系数。该系统基于所处理的激活图生成退化图并且基于该激活图生成输出。该输出可被提供到输出系统以清洗相机镜头，通知用户或车辆遮挡，或修改图像处理。或修改图像处理。或修改图像处理。

【技术实现步骤摘要】
用于确定相机传感器的图像捕获退化的系统和方法
[0001]引言
[0002]本公开涉及用于确定相机的图像捕获退化，并且更具体地涉及用于使用高频率多尺度融合变换来确定相机的图像捕获退化的系统和方法。

技术实现思路

[0003]在一些实施方案中，本公开涉及一种用于确定相机传感器的图像捕获退化的方法。该方法包括：由车辆的相机经由一个或多个传感器随时间捕获一系列图像帧。该方法包括：使用处理电路从由车辆的相机随时间捕获的一系列图像帧生成潜像。潜像表示该系列图像帧当中随时间的时间和/或空间差异。在一个实施方案中，潜像通过确定该系列图像的像素动态范围来生成。在另一实施方案中，潜像通过确定该系列图像的梯度动态范围来生成。在另一实施方案中，潜像通过确定该系列图像的每个像素的时间差异来生成。在另一实施方案中，潜像通过确定该系列图像的平均梯度来生成。在一些实施方案中，图像梯度通过应用索贝尔(sobel)滤波器或双边滤波器来确定。该方法包括：使用处理电路并基于潜像来生成多个频率层。频率层中的每个频率层对应于潜像在相应尺度和频率下的基于频率的分解。在一些实施方案中，该方法使用高频率融合变换来生成频率层。在一些实施方案中，该方法在单个尺度下执行高频率融合变换。在其它实施方案中，该方法在多个尺度下执行高频率融合变换。该方法包括：使用处理电路，基于多个频率层来识别图像捕获退化。
[0004]在一些实施方案中，生成多个频率层包括：针对中心处于后期图像中的多个位置中的每个位置的多个尺度中的每个尺度确定多个基于频率的系数。在一些实施方案中，基于频率的系数对应于多个光谱子带频率。在一些实施方案中，多个频率层中的每个频率层均含有针对光谱子带频率中的相应一个光谱子带频率的基于频率的系数。在一些实施方案中，识别图像捕获退化包括：基于频率量值阈值来选择系数的子集。
[0005]在一些实施方案中，频率层通过对潜像执行高频率多尺度融合变换来确定。
[0006]在一些实施方案中，生成多个频率层进一步包括：基于它们的频率来选择系数的子集。该方法包括：关于量值分类基于频率的系数的子集。该方法包括：归一化所分类的基于频率的系数的子集以生成多个层。
[0007]在一些实施方案中，相机在样本频率下捕获该系列图像帧并且样本频率基于车辆速度来确定。在一些实施方案中，当车辆速度低于预定阈值时，从该系列图像帧中排除图像帧。
[0008]在一些实施方案中，该方法包括：调整频率量值阈值。
[0009]在一些实施方案中，该方法包括：基于所识别的图像捕获退化来确定是否存在遮挡。该方法包括：响应于确定存在遮挡而使用车辆清洗系统来将流体施加到相机的面。
[0010]在一些实施方案中，该方法包括：在显示装置上生成指示图像捕获退化的通知。
[0011]在一些实施方案中，该方法包括：基于图像退化忽略一个或多个图像帧的一个或多个区域。
[0012]在一些实施方案中，本公开涉及一种用于确定图像捕获退化的系统。该系统包括
相机系统和控制电路。相机被配置为捕获图像序列。控制电路耦接到该相机并且被配置为：
[0013]从由相机捕获的一系列图像帧生成潜像。潜像表示该系列图像帧当中随时间的时间和/或空间差异。在一个实施方案中，潜像通过确定该系列图像的像素动态范围来生成。在另一实施方案中，潜像通过确定该系列图像的梯度动态范围来生成。在另一实施方案中，潜像通过确定该系列图像的每个像素的时间差异来生成。在另一实施方案中，潜像通过确定该系列图像的平均梯度来生成。在一些实施方案中，图像梯度通过应用索贝尔滤波器或双边滤波器来确定。控制电路基于潜像来生成多个频率层。频率层中的每个频率层对应于潜像在相应尺度和频率下的基于频率的分解。在一些实施方案中，控制电路使用高频率融合变换来生成频率层。在一些实施方案中，控制电路在单个尺度下执行高频率融合变换。在其它实施方案中，控制电路在多个尺度下执行高频率融合变换。控制电路使用处理电路基于多个频率层来识别图像捕获退化。
[0014]在一些实施方案中，相机集成到车辆中并且相机以基于车辆的速度的样本频率来捕获该系列图像帧。
[0015]在一些实施方案中，在车辆的速度低于预定阈值时进行捕获时，从潜像中排除图像帧。
[0016]在一些实施方案中，控制电路忽略相机输出。
[0017]在一些实施方案中，该系统包括将流体施加到相机的面的清洗系统。
[0018]在一些实施方案中，该系统包括被配置为显示指示遮挡事件的通知的显示装置。
[0019]在一些实施方案中，本公开涉及一种非暂态计算机可读介质。该非暂态计算机可读介质包括用于图像捕获退化的程序指令。在一些实施方案中，该程序指令致使计算机处理系统执行包括以下各项的步骤：
[0020]由相机捕获一系列图像帧。该步骤还包括：使用处理电路从由车辆的相机随时间捕获的一系列图像帧生成潜像。潜像表示该系列图像帧当中随时间的时间和/或空间差异。在一个实施方案中，潜像通过确定该系列图像的像素动态范围来生成。在另一实施方案中，潜像通过确定该系列图像的梯度动态范围来生成。在另一实施方案中，潜像通过确定该系列图像的每个像素的时间差异来生成。在另一实施方案中，潜像通过确定该系列图像的平均梯度来生成。在一些实施方案中，图像梯度通过应用索贝尔滤波器或双边滤波器来确定。该步骤进一步包括：使用处理电路并基于潜像来生成多个频率层。频率层中的每个频率层对应于潜像在相应尺度和频率下的基于频率的分解。在一些实施方案中，该步骤进一步包括：使用高频率融合变换来生成频率层。在一些实施方案中，该步骤包括：在单个尺度下执行高频率融合变换。在其它实施方案中，该步骤包括在多个尺度下执行高频率融合变换。该步骤包括：使用处理电路，基于多个频率层来识别图像捕获退化。
附图说明
[0021]参考以下附图详细描述了根据一个或多个各种实施方案的本公开。附图仅出于举例说明的目的而提供，并且仅示出典型的或示例性实施方案。提供这些附图以有利于理解本文所公开的概念，并且这些附图不应被认为是对这些概念的广度、范围或适用性的限制。应当指出的是，为了清楚起见和便于说明，这些附图未必按比例绘制。
[0022]图1描绘了根据本公开的一些实施方案的具有数个相机的例示性车辆的顶视图；
[0023]图2描绘了根据本公开的一些实施方案的来自相机的例示性输出的图；
[0024]图3描绘了根据本公开的一些实施方案的用于确定相机传感器的图像捕获退化的例示性系统的系统图；
[0025]图4描绘了根据本公开的一些实施方案的用于生成潜像的例示性过程的流程图；
[0026]图5A至图5B描绘了根据本公开的一些实施方案的应用高频率多尺度变换的例示性过程；
[0027]图6A至图6B描绘了根据本公开的一些实施方案的例示性区域；
[0028]图7描绘了根据本公开的一些实施方案的用于确定相机传感器的图像捕获退化的例示性过程的流程图；并且
[0029]图8描绘了根据本公开的一些实施方案的用于管理相机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定图像捕获退化的方法，所述方法包括：由车辆的相机经由一个或多个传感器随时间捕获一系列图像帧；使用处理电路从由所述相机捕获的所述系列图像帧生成潜像，所述潜像表示所述系列图像帧当中随时间的时间或空间差异；使用处理电路并基于所述潜像生成多个频率层，其中每个频率层对应于所述潜像在相应尺度和频率下的基于频率的分解；以及使用所述处理电路，基于所述多个频率层来识别所述相机的图像捕获退化。2.根据权利要求1所述的方法，其中生成所述多个频率层包括：针对中心处于所述潜像中的多个位置中的每个位置的多个尺度中的每个尺度确定多个基于频率的系数，其中所述多个基于频率的系数对应于多个光谱子带频率，并且其中所述多个频率层中的每个频率层包括针对所述光谱子带频率中的相应一个光谱子带频率的基于频率的系数，并且其中识别图像捕获退化包括基于频率量值阈值来选择所述系数的子集。3.根据权利要求2所述的方法，其中生成多个频率层进一步包括：基于它们的频率来选择系数的子集；关于量值分类所述基于频率的系数的子集；以及归一化所分类的基于频率的系数的子集以生成多个层。4.根据权利要求1所述的方法，其中所述相机在样本频率下捕获所述系列图像帧并且其中所述样本频率基于车辆速度来确定。5.根据权利要求1所述的方法，其中所述潜像基于像素动态范围来生成，其中像素动态范围由所述系列图像帧中的每个像素的值的差来确定。6.根据权利要求1所述的方法，其中所述潜像基于梯度动态范围来生成，其中梯度动态范围由所述系列图像帧中的图像梯度的差来确定。7.根据权利要求6所述的方法，其中所述图像梯度基于索贝尔滤波器来确定。8.根据权利要求6所述的方法，其中所述图像梯度基于双边滤波器来确定。9.根据权利要求1所述的方法，所述方法进一步包括：当所述车辆以低于预定阈值的速度行进时，识别由所述相机捕获的图像帧；以及从所述系列图像帧中排除所识别的图像帧；其中当车辆速度低于预定阈值时，从所述系列图像帧中排除图像帧。10.根据权利要求2所述的方法，所述方法进一步包括：基于所述多个频率层中的一个或多个频率层来调整所述频率量值阈值。11.根据权利要求1...

【专利技术属性】
技术研发人员：U，
申请(专利权)人：瑞伟安知识产权控股有限公司，
类型：发明
国别省市：