用于处理图像数据的方法和系统技术方案

本发明专利技术提供了用于处理图像数据的方法和系统。一种用于处理表示区段遮盖的图像数据的方法，包括：基于多个参数组生成三维物体的二维形状表示；以及使所述区段遮盖中的运动块与所述二维形状表示相匹配以获得最适合的参数组。从而，所述三维物体与相机位置之间的距离例如可被确定。

【技术实现步骤摘要】

本专利技术涉及用于处理图像数据的方法和系统以及对应的计算机程序产品。例如， 该方法可构成检测移动物体(Object)的方法的一部分。同样地，该系统可构成用于检测移动物体的系统的一部分。
技术介绍
在汽车安全应用领域，正在开发对邻近车道中的车辆进行检测以发出车道变化警告的系统。例如，已开发出方法来检测车辆的盲点区域中的移动物体。例如，EP-A-I 988 505和EP_A_1 988 488涉及用于检测车辆的盲点区域中的移动物体的方法。近来，变为也希望检测远落后于自我车辆(ego-vehicle)的车辆以使得可以非常早地警告驾驶员。本专利技术的一个目的是提供改进的分别处理图像数据和检测移动物体的方法和系统。以上目的是由独立权利要求所要求保护的主题来实现的。另外的实施例在独立权利要求中定义。附图被包括以提供对本专利技术实施例的进一步理解并且被包含在本说明书中并构成其一部分。附示出本专利技术的实施例并且与说明书一起用来说明原理。当本专利技术的其他实施例和许多预期优点参考以下详细说明得到更好理解时，它们将被容易地认识到。附图的元素不一定是彼此成比例的。相似的标号标示相对应的相似部件。附图说明 一第二运动估计器63，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率。同样，用于处理图像数据的系统包括第一运动估计器62，该第一运动估计器62适用于识别在第一序列的连续图像之间进行了移动的移动块，所述第一序列具有第一帧速率；以及第二运动估计器63，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率。另外，该实施例提供了适用于执行以上方法的计算机程序产品。在图6所示的示例中，图像数据首先被预处理块61处理。例如，预处理块61可包括各种处理设备，例如滤波设备、图像校正设备以及其他。此后，图像数据被提供给第一运动估计器62以及第二运动估计器63。可选地，图像数据也可被提供给第三运动估计器64， 该第三运动估计器64识别在第三序列的连续图像之间进行了移动的移动项目，其中所述第三序列具有第三帧速率。例如，第一帧速率可以是第二帧速率的整数倍。例如，第一运动估计器62的帧速率可以是30fps(帧每秒)，对应于连续图像之间的33ms距离。该帧速率对应于通常相机的帧速率。另外，第二帧速率可以是3fps，使得第一帧速率对应于第二帧速率的十倍。因此，当分析第一和第二帧速率的连续图像时，第二运动估计器63分析该序列的每第十个帧，而第一运动估计器62分析该序列的每一单个图像。 因此，该布置覆盖了更高范围的可检测速度。更具体而言，图6所示的运动估计器检测低速度以及高速度。第一运动估计器62仍确保了对最有兴趣的高速靠近车辆的检测，并将它们的响应延迟保持为最小。另外，第二运动估计器63检测慢车辆和所有遥远车辆的慢像素运动。接近的慢车辆由于相机透视(perspective)和它们朝着相机的行驶方向而生成慢像素运动。每个运动估计器的估计运动场然后被归一化并被组合为最终结果。可选地，第三运动估计器64可被提供以适用于特定的相机或者透镜设置。如显然将会明白的，另外的运动估计器可存在于根据所描述实施例的系统中。III.模板匹配技术模板匹配技术旨在从图像序列中检测移动物体，使得可以检测从相机到移动物体的距离。为了获得可靠的结果，希望从图像序列中精确地确定移动物体。通常用于拍摄图像的单目相机是未被配置为提供深度信息的2D传感器。因此，需要另外的处理来评估所检测物体的距离信息。所检测物体通常由区段遮盖表示，区段遮盖描述图像中的哪些像素属于潜在物体。如图7A所示，用于检测移动物体的方法可包括一基于多个参数组生成三维物体的二维形状表示(S710)；以及一使区段遮盖中的运动块与二维形状表示相匹配(S712)以获得最适合的参数组。例如，可使用多个参数组生成三维物体的二维形状表示，所述多个参数组包括三维物体的距离以及观看透视，例如观看角度。根据区段遮盖的运动块与这些二维形状表示的匹配，可获得最佳匹配的形状表示，从而获得最适合的参数组。例如，可根据该最适合的参数组来评估三维物体的距离(S714)。然而，如将容易明白的，诸如车辆型号或者物体大小之类的不同参数也可被用作参数并且基于该匹配方法来确定。根据一个实施例，包括运动块的区段遮盖可通过以下步骤生成一拍摄图像序列(S700)；—将该序列的每个图像分为块(S702)；以及一从该序列中识别运动块。根据一个实施例，识别运动块可包括一识别移动块；一确定该移动块的移动的方向和距离；以及一使方向和距离在预定间隔内的邻近移动块成组以构成运动块。在步骤S700中，图像序列被拍摄。例如，当识别移动块时，每个块可包括8x8或者16x16个像素，但是不仅方块是可能的，其他形状的块或者具有另一数目的像素的块也是可能的。另外，已经在序列的连续图像之间移动了的块可被识别。例如，这可以利用如上面已在II部分中描述的运动估计器来完成。可以通过计算用于可能的块位移的误差标准来检测块的移动。绝对差的和、相关性乘积或者其他方法例如可被用作匹配标准。然后，可以例如通过比较连续图像中的移动块的位置来确定移动的距离和方向。 “类似”方向上“类似”距离的移动也可以通过计算连续图像的块之间的运动向量并且比较运动向量来确定。在步骤S702中，已经为之确定方向在预定方向间隔内并且距离在预定距离间隔内的邻近块被成组在运动块中。预定的方向间隔和预定的距离间隔被用于检测基本相同方向、基本相同距离的移动。预定的间隔可以是固定的或者可以适用于例如移动块的实际方向或距离。因此，基本在相同方向上移动相同距离的移动块被成组在一起，以构成组成区段遮盖的运动块。通常，区段遮盖表示所检测的物体，从而描述图像中的哪些像素属于所要检测的诸如车辆之类的潜在物体。区段遮盖可包含多个检测到的物体以及假警报。不相连的、田比邻的块可被隔离并被单独处理为可能的车辆候选。为了提高检测精度，实现将真实世界物体投射到像素坐标。从而，有效物体被变换为二维表示。在步骤S710中，移动物体的二维形状表示被生成。例如，这可以通过基于多个参数组计算三维物体的多个图像来完成。为了计算图像，通过利用恒定相机校准参数、任何关于传感器上的光学成像的信息、相机高度以及诸如物体距离和相机透视之类的可变参数， 例如可以使用透视变换。因此，对于多组参数，多个二维形状表示被生成。因此，试图利用图像所拍摄自的各种特定透视，将真实世界以及移动物体投射到像素坐标。此后，在步骤S712中，区段遮盖的运动块被与二维形状表示相匹配，以获得最佳匹配。例如，可利用被计算为三个区域之比的匹配分数来评估最佳匹配。分数=(A-W1B)/ (A+w2C)在以上公式中，区域a被所考虑的运动块和形状表示两者覆盖。区域b在形状表示内部但是未被运动块覆盖。区域C在运动块内部但是在形状表示外部。W1和W2是权重。 在完美匹配的情况下，B和C将是零，从而产生1.0的分数。在所有其他情况下，最终分数低于1. 0，并且可被根据权重按优先级排序，以选择运动块和形状表示的最大内部重叠或者最小外部非重叠区域。该方法考虑到对运动块的确定可能是不准确的并且拓展到并非车辆的一些邻近图像区域。在找到最佳匹配的二本文档来自技高网...

【技术保护点】
１．一种用于处理表示区段遮盖的图像数据的方法，包括：基于多个参数组生成三维物体的二维形状表示；以及使所述区段遮盖中的运动块与所述二维形状表示相匹配以获得最适合的参数组。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：丹尼斯·哈瑞斯，克利斯汀·昂鲁，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP