图像处理设备、图像处理方法和图像处理程序技术

本发明专利技术公开了图像处理设备、图像处理方法和图像处理程序。该图像处理设备包括：代表点存储部件；评价值表生成部件；峰值检测部件；以及相关性确定部件，其中，只要确定了有意义的候选向量的存在，就重复以下操作：由评价值表生成部件执行的、用于基于代表点存储部件中存储的代表点来生成评价值表的操作，由峰值检测部件执行的、用于检测候选向量的操作，由相关性确定部件执行的、用于确定代表点与参考点之间的相关性的操作，以及由相关性确定部件执行的、用于根据用于确定代表点与参考点之间的相关性的操作的结果来更新代表点存储部件的操作。

【技术实现步骤摘要】

本专利技术涉及图像处理设备、图像处理方法和图像处理程序。更具体地，本专利技术涉及能够通过改进要提取的候选向量的精度来改进由其执行用于检测运动向量的操作的精度的图像处理设备，要由该设备采用的图像处理方法，以及实现该方法的图像处理程序。
技术介绍
随着对移动图像执行的信号处理的近来的进展，用于检测图像上每个物体的运动向量的技术被应用于各种领域。例如，用于检测图像上每个物体的运动向量的技术被用在作为高性能编码而实施的移动补偿型编码、移动图像的帧率转换、在交通监视系统中用于检测移动物体的处理、移动检测处理等之中。用于从出现在多个点的图像中检测视差 (disparity)向量的技术被应用于从利用立体相机拍摄的图像中对移动物体进行的检测、 深度测量等等。对移动图像的运动向量的检测与对出现在多个点的每个图像的视差向量的检测彼此的区别仅仅在于这些检测只是具有用于建立关联的图像之间的不同关系。从技术的观点，对移动图像的运动向量的检测和对出现在多个点的每个图像的视差向量的检测相同。因为这个原因，对移动图像的运动向量的检测和对出现在多个点的每个图像的视差向量的检测都被称为向量检测。在过去，向量检测中广泛采用了框匹配技术。根据框匹配技术，执行全搜索操作以比较搜索区域中的所有的各条数据。因此，框匹配技术有如下缺点要在比较搜索区域中的所有的各条数据中执行的比较的次数很大，因此需要较长的时间来执行向量检测。此外，如果框包括了具有不同移动方向的多个部分，则利用被作为单元的该框而检测到的移动表示了该框中的个别移动，上述检测到的移动不能说是高准确度地检测到的移动。这样的问题可通过以适当调整的值来设置框的尺寸而解决。如果框的尺寸设置在过大的值，则计算量增加。此外，在框的尺寸设置在过大的值的情况下，容易出现由框中的多个移动导致的问题。如果框的尺寸设置在过小的值以防止框包括多个移动，则用于确定匹配状态的区域的尺寸减小。因此，在此情况下，出现了移动检测的精度恶化的问题。为了解决上述问题，本专利技术的专利技术人已提出了一种运动向量检测设备，该运动向量检测设备能够检测每个像素的运动向量而不增加计算量，并且能够避免不正确的运动向量检测，另外，本专利技术的专利技术人还提出了由日本专利早期公开号2005-175869(作为专利文献1)和2005-175870(作为专利文献幻中所描述的运动向量检测装置采用的运动向量检测方法。根据作为运动向量检测方法的点的、在专利文献1和2中所描述的点，为每个像素或每个像素框计算评价值。然而，在此情况下，运动向量不是直接确定的。相反，通过采用候选向量方法解决了过去出现的问题。根据候选向量方法，首先，作为第一步骤，通过采用代表点匹配技术而为图像生成评价值表，并且从所生成的评价值表中提取一些候选向量。然后，作为第二步骤，对于每个像素，从候选向量中选择被认为是最好的候选向量。所选择的候选向量被作为运动向量。以此方式，可为每个像素决定运动向量。根据候选向量方法，在第一步骤处提取搜索区域中的仅仅有效位置(也就是说， 候选向量的位置)，以便减少计算量。很可能的是，在拍摄对象的图像的边界上，疏忽地执行了不正确的向量检测。同样对于拍摄对象的图像的这样的边界，最佳向量是从少数候选向量确定的，在候选向量的数目已被减少之后，上述的少数候选向量已预先被确定。以此，与搜索整个搜索区域的操作相比，对不同像素产生相同评价值的可能性较低，并且不正确向量检测的可能性也被降低。
技术实现思路
然而，根据专利文献1和2中公开的运动向量检测方法，在用于从每个评价值表提取候选向量的操作中，有必要预先设置要从评价值表中提取的候选向量的数目。结果，出现了下面的问题。如果要从评价值表提取的候选向量的数目被设置为比图像中存在的有意义的候选向量的数目更大的值，则所提取的候选向量包括不必要的候选向量的可能性较高。因此， 在用于选择被认为是最好的向量的第二步骤处所执行的处理中，不正确向量检测的可能性增加。相反地，另一方面，如果要从评价值表提取的候选向量的数目被设置为较小的值以便降低不正确向量检测的可能性，则所提取的候选向量不包括必要的候选向量的可能性较高。同样在此情况下，很可能的是，在用于选择被认为是最好的向量的第二步骤处所执行的处理中，不正确向量检测的可能性也增加。也就是说，为了决定最佳运动向量，作为先决条件，在第一步骤处提取的候选向量的精度必须高。取决于要从评价值表提取的候选向量的数目被设置为的值，所提取的候选向量可能包括不必要的候选向量，或者所提取的候选向量可能不包括必要的候选向量。也就是说，取决于要从评价值表提取的候选向量的数目被设置为的值，候选向量的精度在一些情况下可能较差。在设法解决上述问题的情况下，本专利技术的专利技术人已通过改进根据候选向量方法提取的候选向量的精度，而改进了运动向量的检测的精度。根据本专利技术的实施例的一种图像处理设备使用了 代表点存储装置，该代表点存储装置起到用于存储多个像素的存储装置的作用，其中多个像素中的每个像素都存在于基准图像上用作代表点，针对代表点，要在用于通过将基准图像与参考图像作比较来检测表示基准图像上的像素的代表点的运动向量的操作中检测运动向量；以及评价值表生成装置，该评价值表生成装置用于通过采用代表点匹配技术来生成评价值表，该代表点匹配技术使用了代表点存储装置中存储的代表点。图像处理设备还使用了 峰值检测装置，该峰值检测装置用于将与评价值表中存储的评价值和的最大值相对应的位置检测为候选向量， 该候选向量用作运动向量的候选；以及相关性确定装置，该相关性确定装置用于针对代表点存储装置中存储的多个前述代表点中的每一个确定基准图像上的代表点与用作参考图像上的参考点的、存在于针对代表点而检测的候选向量的结尾处的点之间的相关性，并且该相关性确定装置用于从代表点存储装置中删除具有高相关性的代表点，以便更新代表点存储装置。在图像处理设备中，只要确定了有意义的候选向量的存在，就重复地执行以下操作由评价值表生成装置执行的、用于基于代表点存储装置中存储的代表点来生成评价值表的操作，由峰值检测装置执行的、用于检测候选向量的操作，由相关性确定装置执行的、用于确定代表点与参考点之间的相关性的操作，以及由相关性确定装置执行的、用于根据用于确定代表点与参考点之间的相关性的操作的结果来更新代表点存储装置的操作。根据本专利技术的实施例的一种图像处理方法是用于驱动图像处理设备的方法，该图像处理设备用于执行预先确定的图像处理。图像处理方法包括如下步骤只要确定了有意义的候选向量的存在，就重复地驱动图像处理设备，以便重复地执行以下处理通过采用代表点匹配技术来生成评价值表的处理，其中代表点匹配技术用于将代表点存储装置中存储的、每个都存在于基准图像上用作代表点的多个像素中的每一个，与参考图像作比较；将与评价值表中存储的评价值和的最大值相对应的位置检测为候选向量的处理，其中候选向量用作基准图像与参考图像之间的运动向量的候选；以及针对代表点存储装置中存储的多个前述代表点中的每一个确定基准图像上的代表点与用作参考图像上的参考点的、存在于针对代表点而检测的候选向量的结尾处的点之间的相关性，并且从代表点存储装置中删除具有高相关性的代表点以便更新代表点存储装置的处理。根据本专利技术的实施例的一种图像处理程序是要由计算机来本文档来自技高网...

【技术保护点】
１．一种图像处理设备，包括：代表点存储装置，所述代表点存储装置起到用于存储多个像素的存储装置的作用，其中所述多个像素中的每个像素都存在于基准图像上用作代表点，针对所述代表点，要在用于通过将所述基准图像与参考图像作比较来检测表示所述基准图像上的像素的所述代表点的运动向量的操作中检测运动向量；评价值表生成装置，所述评价值表生成装置用于通过采用代表点匹配技术来生成评价值表，所述代表点匹配技术使用了所述代表点存储装置中存储的所述代表点；峰值检测装置，所述峰值检测装置用于将与所述评价值表中存储的评价值和的最大值相对应的位置检测为候选向量，所述候选向量用作所述运动向量的候选；以及相关性确定装置，所述相关性确定装置用于针对所述代表点存储装置中存储的所述多个代表点中的每一个确定所述基准图像上的所述代表点与用作参考点的、存在于针对所述代表点而检测的所述候选向量的结尾处的点之间的相关性，在所述参考点处的像素在所述参考图像上，并且所述相关性确定装置用于从所述代表点存储装置中删除具有高相关性的代表点，以便更新所述代表点存储装置，其中只要确定了有意义的候选向量的存在，就重复以下操作：由所述评价值表生成装置执行的、用于基于所述代表点存储装置中存储的代表点来生成所述评价值表的操作，由所述峰值检测装置执行的、用于检测所述候选向量的操作，由所述相关性确定装置执行的、用于确定所述代表点与所述参考点之间的所述相关性的操作，以及由所述相关性确定装置执行的、用于根据所述用于确定所述代表点与所述参考点之间的相关性的操作的结果来更新所述代表点存储装置的操作。...

【技术特征摘要】
2010.01.08 JP 2010-0030771.一种图像处理设备，包括代表点存储装置，所述代表点存储装置起到用于存储多个像素的存储装置的作用，其中所述多个像素中的每个像素都存在于基准图像上用作代表点，针对所述代表点，要在用于通过将所述基准图像与参考图像作比较来检测表示所述基准图像上的像素的所述代表点的运动向量的操作中检测运动向量；评价值表生成装置，所述评价值表生成装置用于通过采用代表点匹配技术来生成评价值表，所述代表点匹配技术使用了所述代表点存储装置中存储的所述代表点；峰值检测装置，所述峰值检测装置用于将与所述评价值表中存储的评价值和的最大值相对应的位置检测为候选向量，所述候选向量用作所述运动向量的候选；以及相关性确定装置，所述相关性确定装置用于针对所述代表点存储装置中存储的所述多个代表点中的每一个确定所述基准图像上的所述代表点与用作参考点的、存在于针对所述代表点而检测的所述候选向量的结尾处的点之间的相关性，在所述参考点处的像素在所述参考图像上，并且所述相关性确定装置用于从所述代表点存储装置中删除具有高相关性的代表点，以便更新所述代表点存储装置，其中只要确定了有意义的候选向量的存在，就重复以下操作由所述评价值表生成装置执行的、用于基于所述代表点存储装置中存储的代表点来生成所述评价值表的操作，由所述峰值检测装置执行的、用于检测所述候选向量的操作，由所述相关性确定装置执行的、用于确定所述代表点与所述参考点之间的所述相关性的操作，以及由所述相关性确定装置执行的、用于根据所述用于确定所述代表点与所述参考点之间的相关性的操作的结果来更新所述代表点存储装置的操作。2.根据权利要求1所述的图像处理设备，还包括控制装置，所述控制装置用于控制对所述用于生成所述评价值表的操作、所述用于检测所述候选向量的操作、所述用于确定所述代表点与所述参考点之间的所述相关性的操作、以及所述用于更新所述代表点存储装置的操作的重复，其中所述控制装置根据所述评价值表中存储的评价值和的所述最大值来停止所述重复。3.根据权利要求1所述的图像处理设备，还包括控制装置，所述控制装置用于控制对所述用于生成所述评价值表的操作、所述用于检测所述候选向量的操作、所述用于确定所述代表点与所述参考点之间的所述相关性的操作、以及所述用于更新所述代表点存储装置的操作的重复，其中所述控制装置根据所述代表点存储装置中存储的被更新的代表点的数目来停止所述重复。4.根据权利要求2所述的图像处理设备，其中所述相关性确定装置通过将所述代表点和与所述代表点邻近的像素的代表点周围像素数据与所述参考点和与所述参考点邻近的像素的参考点周围像素数据相比较，来确定所述代表点与所述参考点之间的所述相关性。5.根据权利要求4所述的图像处理设备，其中所述相关性确定装置通过确定是否满足以下条件，来确定所述代表点与所述参考点之间的所述相关性要求所述代表点的像素值在所述参考点的像素值和与所述参考点邻近的像素的像素值之间的条件；或者要求所述参考点的像素值在所述代表点的像素值和与所述代表点邻近的像素的像素值之间的条件。6.根据权利要求5所述的图像处理设备，其中所述相关性确定装置分析将所述代表点的像素值和与所述代表点邻近的像素的像素值彼此连接的波形图案的形状，以确定所述波形图案具有向右渐增的形状、向右渐减的形状、向上凸起的形状还是向下凸起的形状；并且所述相关性确定装置在根据所述波形图案的形状而变化的相关性确定处理中，确定所述代表点与所述参考点之间的所述相关性。7.根据权利要求1所述的图像处理设备，还包括代表点选择装置，所述代表点选择装置用于通过确定所述代表点的像素值是否不同于与所述代表点邻近的像素的像素值，来从所述基准帧上的像素中决定所述代表点；并且将所述被选择的代表点存储在所述代表点存储装置中。8.一种图像处理方法，所述图像处理方法用于驱动图像处理设备，所述图像处理设备用于执行预先确定的图像处理，所述图像处理方法包括如下步骤只要确定了有意义的候选向量的存在，就重复地驱动所述图像处理设备，以便重复地执行以下处理通过采用代表点匹配技术来生成评价值表的处理，其中所述代表点匹配技术用于将代表点存储装置中存储的、每个都存在于基准图像上用作代表点的多个像素中的每一个，与参考图像作比较；将与所述评价值表中存储的评价值和的最大值相对应的位置检测为候选向量的处理， 其中所述候选向量用作所述基准图像与所述参考图像之间的运动向量的候选；以及针对所述代表点存储装置中存储的所述代表点中的每一个确定所述基准图像上的所述代表点与用作所述参考图像上的参考点的、存在于针对所述代表点而检测的所述候选向量的结尾处的点之间的相关性，并且从所述代表点存储装置中删除具有高相关性的代表点以便更新所述代表点存储装置的处理。9.一种图像处理程序，所述图像处理程序要由计算...

【专利技术属性】
技术研发人员：石川贵规，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP