静态脏污检测与校正制造技术

一种用于检测图像伪影的方法和装置。通过将邻近像素的强度差值与上限阈值和下限阈值相比较，并设定对应的像素过渡值，计算第一方向上摄像头图像的像素过渡值。向像素过渡值施加关于时间的低通滤波器和空间滤波器。通过将平滑像素过渡值的量值与预设检测阈值相比较，识别潜在伪影区域的像素。一种用于校正图像伪影的方法和装置。计算第一方向上的摄像头图像的像素商值。商值由像素的图像强度除以第一方向上的邻近像素的强度来求出。计算相应像素商值的中位数。得到作为矩阵方程迭代解的像素衰减系数，其中矩阵方程的矩阵包括中位数。通过将观察到的像素强度除以对应的像素衰减系数，得出校正后像素强度。

Detection and correction of static dirty pollution

A method and device for detecting an image artifact. By comparing the intensity difference between the adjacent pixels with the upper limit threshold and the lower threshold, and setting the corresponding pixel transition value, the pixel transition value of the camera image in the first direction is calculated. A low pass filter and a spatial filter with respect to time are applied to the pixel transition value. By comparing the value of the smooth pixel transition value to the preset detection threshold, the pixels of the potential artifact region are identified. A method and device for correcting image artifacts. The pixel quotient value of the camera image in the first direction is calculated. The quotient value is calculated from the image intensity of the pixel by the intensity of the adjacent pixels in the first direction. The median of the corresponding quotient value of the pixel is calculated. The pixel attenuation coefficient is obtained as an iterative solution of the matrix equation, in which the matrix of the matrix equation includes the median. By dividing the observed pixel intensity by the corresponding pixel attenuation coefficient, the corrected pixel intensity is obtained.

【技术实现步骤摘要】
【国外来华专利技术】静态脏污检测与校正
技术介绍
时下越来越多的乘用车配有摄像头驾驶辅助系统，用于捕捉车辆周围环境，实现各类有助提升驾驶安全性和舒适度的功能。这类系统的功能性基于对所记录图像数据的分析。因此，系统预测的质量与图像数据的质量息息相关。摄像头光学系统的脏污程度对图像质量造成影响，且难以控制。摄像头可以安装于脏污风险较小的位置，或者可以使用电动刮水器清理摄像头。然而尽管如此，光学系统脏污无法彻底避免。有人因此提出自动检测摄像头镜头上的脏污颗粒以触发适当的行动。EP2351351号欧洲专利申请公开了一种镜头脏污自动检测方法。
技术实现思路
在第一方面，本专利说明书公开一种用于检测图像伪影的计算机实施的方法。接收来自车载摄像头的含图像帧的图像数据(例如通过车载数据总线)，将图像帧的第一方向上的邻近像素间的强度差值与预设上限阈值及预设下限阈值进行比较。所述第一方向可对应于图像帧的行。更进一步地，能够计算第二方向或y方向上关于像素在图像帧中的位置的像素过渡值。由此能够改进整体检测质量，避免条纹状的伪影。所述第二方向可对应于图像帧的列。当之前计算的邻近像素强度差值大于所述预设上限阈值时，像素过渡值被设为第一值。当所述强度差值小于所述预设下限阈值时，像素过渡值被设为第二值；当所述强度差值介于所述预设上限阈值和所述预设下限阈值之间时，像素过渡值被设为0。具体地说，所述上限阈值能够设为正数值，所述下限阈值能够设为负数值，所述正数值和负数值能够具有相等量值。所述上限阈值和所述下限阈值能够相等，具体地说能够同时等于0。所述第一值能够选作正数值，例如1或正常数a，所述第二值能够选作负数值，例如-1或所述第一值的负值。如果所述强度差值恰好等于所述阈值之一，其能够被设为相应第一或第二值，抑或设为0。所述像素过渡值也称为“过渡类型”。通过施加关于时间的低通滤波器(其中时间由帧索引表示)，从所述图像帧的对应像素位置的像素过渡值来计算累加像素过渡值。在一实施例中，对于相应第一和第二方向，所述低通滤波器被计算为帧索引f处的累加值。该累加值被计算为前一帧索引f–1处的累加值与前述帧索引f处的像素过渡值的加权和。具体地说，前一帧索引f–1处的累加值的加权系数能够被设为至少0.95。由此，主要贡献来自之前的估计，从而生成低通滤波器。更进一步地，通过对像素位置施加空间滤波器，具体地说通过计算所述空间滤波器的卷积，累加像素过渡值就像素位置而言被平滑。具体地说，所述空间滤波器能够为滤波器系数介于0和1(取决于与中心点的差值而下降至0)之间的滤波器，例如环形滤波器。在一实施例中，关于时间的低通滤波在空间滤波之前执行。在另一实施例中，空间滤波在关于时间的低通滤波器之前执行。在第一个实施例中，低通滤波器施加于所述像素过渡值以获得累加像素过渡值，之后将空间滤波器施加于所述累加像素过渡值。在第二个实施例中，空间滤波器施加于所述像素过渡值以获得平滑像素过渡值，之后将关于时间的低通滤波器施加于所述平滑像素过渡值。经过时间累加及针对像素位置(x,y)平滑的像素过渡值被称为“平滑累加像素过渡值”。这一表述是指滤波的两种序列。在一实施例中，所述空间滤波器被实现为滤波器系数合计为1的平均滤波器。如果滤波器被逐步定义且坐标(x,y)距离为1，这相当于在滤波器函数中总量为1。针对像素位置的平滑像素过渡值计算像素位置的量值。如果仅计算关于一个方向的平滑像素过渡值，可通过取模数计算所述量值。如果计算关于所述第一方向和关于所述第二方向的平滑像素过渡值，可通过取相应第一方向和第二方向的平方值的和来计算量值，具体地说，所述量值可以被计算为一个L2范数，亦即“欧几里德范数”。其后，通过将给定像素位置(x,y)的量值与预设检测阈值相比较，识别潜在伪影区域的像素。在另一方面，本专利说明书公开一种用于校正图像伪影的计算机实施的方法。根据该方法，例如经由车载数据总线，接收来自车载摄像头的含图像帧的图像数据。计算第一方向或x方向上的相应像素位置的像素商值。具体地说，所述第一方向能够为图像帧的行。为改进图像校正并避免条纹状的伪影，还能够在第二方向或y方向上计算相应像素位置的像素商值。具体地说，所述第二方向能够为图像帧的列。所述像素商值的分子为给定像素位置处的图像强度，所述像素商值的分母为相应第一或第二方向上的邻近像素处的图像强度。通过使用像素邻近位置使该方法“局部化”，避免合并位于远处像素位置的像素。该特征产生用于线性方程组的稀疏矩阵。计算相应像素位置关于时间的像素商值的中位数，其中时间由帧索引表示。具体地说，所述中位数能够被计算为近似真实中位数的流动中位数。将所述图像帧的像素位置的衰减系数计算为相应像素位置(x,y)衰减系数线性方程组的近似解，其中所述像素位置的衰减系数由向量表示。所述线性方程组包括第一组线性方程，其中之前确定的中位数作为相应衰减系数的预处理系数(pre-factor)。所述线性方程组还包括第二组线性方程，其确定对应像素位置处的衰减系数的数值。具体地说，所述第二组线性方程可由前述用于识别图像伪影的方法来确定。给定时间t处的图像帧像素的校正后像素强度由观察到的像素强度除以之前确定的衰减系数B(x,y)求出，其中所述衰减系数介于0和1之间。在一特定实施例中，所述像素商值的中位数为直至帧索引f的像素商值的流动中位数。所述流动中位数从前一帧索引f–1的中位数估值和帧索引f处的像素商值求出。所述流动中位数近似中位数真实值。如果当前像素商值大于前一流动中位数，通过将预设值“delta”加至前一估值，计算当前帧索引和像素的流动中位数。如果当前像素商值小于前一流动中位数，将预设值“delta”从前一流动中位数中减去。否则，将当前流动中位数设为前一流动中位数。具体地说，前述线性方程组能够使用迭代法求得近似解。多个迭代步骤可被预先确定或依赖于收敛速度被确定。线性方程中的衰减系数的预处理系数可被定义为约束矩阵的元素。在一实施例中，该方法包括将所述线性方程组与转置后的约束矩阵相乘。所得的线性方程组使用迭代法求解。具体地说，所述迭代法能够采用共轭梯度法，所述共轭梯度法用于寻找所得方程所定义的二次型的最小值。根据另一方面，本专利说明书公开一种例如通过提供集成电路、ASICS、存有数据的微处理器计算机可读内存和计算机可读指令等，执行前述检测图像伪影的方法的计算部件。所述计算部件包括用于接收图像数据的输入连接和用于输出检测到的像素的位置的输出连接。对于双向数据连接，输入和输出连接还可重合。检测到的像素的位置还可在内存区中被标示(例如，通过提供指向数据结构的指针等)。所述计算部件操作以执行前述伪影检测方法，具体地说，所述计算部件操作以将第一方向上邻近像素间的强度差值与预设上限阈值和预设下限阈值相比较，并根据所述强度差值设定像素过渡值。当所述强度差值大于所述预设上限阈值时，所述计算部件将像素过渡值设置为第一值；当所述强度差值小于所述预设下限阈值时，设置为第二值；当所述强度差值介于所述预设上限阈值和所述预设下限阈值之间时，将像素过渡值设为0。更进一步地，所述计算部件通过施加关于帧索引或关于时间的低通滤波器，计算相应像素过渡值的累加像素过渡值。所述计算部件通过对所述累加像素过渡值施加空间滤波器，计算平滑像素过渡值，然后计算本文档来自技高网...

【技术保护点】
一种用于检测图像伪影的方法，包括‑接收来自车载摄像头的图像数据，所述图像数据包括图像帧，‑将第一方向上邻近像素间的强度差值与预设上限阈值和预设下限阈值相比较，‑当所述强度差值大于所述预设上限阈值时，将像素过渡值设置为第一值；当所述强度差值小于所述预设下限阈值时，将所述像素过渡值设置为第二值；当所述强度差值介于所述预设上限阈值和所述预设下限阈值之间时，将所述像素过渡值设为0，‑通过施加关于帧索引的低通滤波器，计算所述像素过渡值的累加像素过渡值，‑通过施加关于像素位置的空间滤波器，计算平滑像素过渡值，‑计算所述图像帧的所述像素位置的平滑和累加像素过渡值的量值，‑通过将所述量值与预设检测阈值相比较，识别潜在伪影区域的像素。

【技术特征摘要】
【国外来华专利技术】2015.07.02 EP 15174934.81.一种用于检测图像伪影的方法，包括-接收来自车载摄像头的图像数据，所述图像数据包括图像帧，-将第一方向上邻近像素间的强度差值与预设上限阈值和预设下限阈值相比较，-当所述强度差值大于所述预设上限阈值时，将像素过渡值设置为第一值；当所述强度差值小于所述预设下限阈值时，将所述像素过渡值设置为第二值；当所述强度差值介于所述预设上限阈值和所述预设下限阈值之间时，将所述像素过渡值设为0，-通过施加关于帧索引的低通滤波器，计算所述像素过渡值的累加像素过渡值，-通过施加关于像素位置的空间滤波器，计算平滑像素过渡值，-计算所述图像帧的所述像素位置的平滑和累加像素过渡值的量值，-通过将所述量值与预设检测阈值相比较，识别潜在伪影区域的像素。2.根据权利要求1所述的方法，包括-将第二方向上邻近像素间的强度差值与所述预设上限阈值和所述预设下限阈值相比较，-当所述强度差值大于所述预设上限阈值时，将所述像素过渡值设置为所述第一值；当所述强度差值小于所述预设下限阈值时，将所述像素过渡值设置为所述第二值；当所述强度差值介于所述预设上限阈值和所述预设下限阈值之间时，将所述像素过渡值设为0。3.根据权利要求1或2所述的方法，所述低通滤波器的输出值的计算包括计算相应第一或第二方向上的帧索引f处的累加值作为前一帧索引f–1处的累加值与前述帧索引f处的平滑像素过渡值的加权和。4.根据权利要求3所述的方法，其中所述前一帧索引f–1处的累加值的加权系数至少为0.95。5.一种用于校正图像伪影的方法，包括-接收来自车载摄像头的图像数据，所述图像数据包括图像帧，-计算第一方向上的像素商值，其中所述像素商值从商数求出，所述商数的分子为给定像素位置处的图像强度，分母为所述第一方向上的邻近像素处的图像强度，-计算关于时间的所述像素商值的中位数，-计算像素位置的衰减系数作为衰减系数线性方程组的近似解，所述线性方程组包括：第一组线性方程，其中所述中位数作为所述衰减系数的预处理系数；以及第二组线性方程，其确定相应像素位置处的所述衰减系数的值，-通过将观察到的像素强度除以相应像素位置的对应衰减系数B(x,y)，求出校正后像素强度。6.根据权利要求5所述的方法，包括计算第二方向上的像素商值，其中所述像素商值从商数求出，所述商数的分子为给定像素位置处的图像强度，分母为所述第二方向上的邻近像素处的图像强度，其中针对所述第一方向上的所述像素商值和所述第二方向上的所述像素商值计算所述中位数。7.根据权利要求5所述的方法，包括使用权利要求1...

【专利技术属性】
技术研发人员：R·格雷罗，
申请(专利权)人：大陆汽车有限责任公司，
类型：发明
国别省市：德国,DE