一种快速视差图像计算方法及装置制造方法及图纸

本申请提供一种快速视差图像计算方法及装置，应用于图像处理设备上，该方法包括：将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；按照预设的第一视差算法基于一对背景图像生成背景视差图像；按照预设的第二视差算法基于一对前景图像生成前景视差图像；将前景视差图像与当前背景视差图像整合为完整的视差图像。相较于现有技术，本申请可以大幅度提升完整视差图像计算的实时性，对监控等专业应用市场来说技术意义尤为突出。

【技术实现步骤摘要】
一种快速视差图像计算方法及装置
本申请涉及图像处理技术，尤其涉及一种快速视差图像计算方法及装置。
技术介绍
随着多媒体、Internet等技术的深入发展，普通二维模式图像/视频越来越无法满足人们的需求。近年来，三维(3D)图像的使用更加频繁。人们在观看3D电影时可以获得2D电影难以企及的立体视觉体验。除了在影视方面的应用，接近真实场景的三维信息已慢慢开始在其他各个领域被使用到，尤其是在视频监控领域，立体视觉系统能够更加有效的定位、分辨或者跟踪被监测的目标。常见的监控业务中，如车辆、行人的检测或跟踪，三维的视频信息能够表现出明显优越于二维信息的效果。视差信息是立体视觉系统的基础，故获取视差信息的视差算法作为立体视觉的关键成为计算机视觉领域研究的热点。视差估计的基本原理是利用从两个视点观察同一场景获取的立体像图对，以其中一个视点的图像作为基准，匹配出两幅图像中的对应像点，从而估计参考视图中每一像素点的视差。根据使用的约束信息的不同，可以将视差估计算法分为两类：1)局部匹配算法，这类方法利用的是对应点本身以及邻近的局部区域的约束信息，局部算法的优点是效率高，但在遮挡区域、边界区域以及缺失纹理的区域会产生较大的误差。根据匹配特征和匹配方式的不同，局部匹配算法主要分为基于特征的方法和基于区域的方法。基于特征的方法具有较好的抗干扰性能，但它只能获得稀疏的视差场，要得到稠密的视差场必须辅之以复杂的插值过程。区域法能产生稠密的视差场，算法简单、有效、易于实现，缺点是精度不高，易受噪声的影响。然而该方案计算速度较快，但需要依赖于一个初始的视差估计，如果初始估计错误比较明显，则动态规划之后效果也不够理想2)全局匹配算法，这类方法利用了图像的全局约束信息，在整个图像上定义一个包含数据误差、光滑程度以及遮挡在内的能量函数，把问题转化成优化问题来解决，全局算法对局部图像的模糊不敏感，但是它的计算代价很高。全局匹配算法包括基于置信等级传播的算法、基于动态规划的算法和基于遗传算法的方法等，目前都难以做到实时生成视差图像。该方案计算精度较高，但算法对性能要求很高，在视频监控的领域当中，很难做到实时产生全图视差。与普通影视应用不同的是，在监控领域，观察者经常需要看到实时的三维视频。处理速度慢在监控等专业领域可能是无法被用户接受的。
技术实现思路
有鉴于此，本申请提供一种快速视差图像计算装置，应用于图像处理设备上，所述装置包括：背景差分单元，用于将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；背景视差单元，用于按照预设的第一视差算法基于一对背景图像生成背景视差图像；前景视差单元，用于按照预设的第二视差算法基于一对前景图像生成前景视差图像；图像整合单元，用于将前景视差图像与当前背景视差图像整合为完整的视差图像。本申请还提供一种快速视差图像计算方法，应用于图像处理设备上，该方法包括：将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；按照预设的第一视差算法基于一对背景图像生成背景视差图像；按照预设的第二视差算法基于一对前景图像生成前景视差图像；将前景视差图像与当前背景视差图像整合为完整的视差图像。相较于现有技术，本申请可以大幅度提升完整视差图像计算的实时性，对监控等专业应用市场来说技术意义尤为突出。附图说明图1A是一个例子中图像处理设备的结构图。图1B是一个例子中快速视差图像计算装置结构图。图2是本申请一个例子中快速视差图像计算方法流程图。图3是本申请一个例子中背景视差图像计算过程示意图。图4是本申请一个例子中针对前景图像的扫描示意图。图5是本申请另一个例子中针对前景图像扫描的示意图。图6是本申请一个例子中针对差生相反突变情况下的视差计算示意图。具体实施方式在描述本申请提供的技术方案之前，先对后续需要使用到的相关概念进行简要说明。双目摄像机：通常包括两个光轴平行，标称的焦距及其它参数相同的摄像机。一般来说这两台摄像机的相对位置固定，标定完成之后可以用来获取有效视野内所有物体的三维信息。一般来说，可以把双目摄像机的中一个摄像机称为“左目摄像机”，而另一个称为“右目摄像机”。这里所说的左目和右目是相对的概念，从摄像机正面观察到左目摄像机在背面观察则是右目摄像机。因此左目摄像机可以是双目摄像机中的任意一个摄像机，为了描述方便起见，后续实施方式中将以面向镜头取景方向时位于左侧的摄像机为左目摄像机，另一个摄像机为右目摄像机。视差：从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。双目修正：把消除畸变后的来自两个摄像机的两幅图像严格地进行行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一像素点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应的像素点。极线约束：这一概念源自极几何(epipolargeometry)中的定义，双目摄像机两幅图像之间存在的极线对应关系，在双目修正完成之后，两幅图像的极线完全水平对应，其中一幅图像上的任意像素点都可以在另一幅图像上对应的极线上搜索对应的像素点。本专利技术提供一种快速视差图像计算方法及装置，该技术方案可以基于计算机软件实现，当然也可以采用硬件或逻辑器件等其他方式实现。该方案可以应用在包括双目摄像机以及图像处理设备的监控场景中。实施时，所述双目摄像机的光轴可以倾斜于检测场地的地平面，在少数情况下可能是垂直或接近垂直。从安装上来说，为了更好地发挥本专利技术的优势，安装好的双目摄像机光心的连线和地平面平行或接近平行，该安装约束条件主要是为了相关算法可以使用先验的人或其他目标的高度信息。而双目摄像机的光轴在地平面上的投影和行人或车辆的正常运行路线保持平行或接近平行，该安装约束条件为了后续算法使用先验的目标信息或知识，比如从二维图像中来观察，被遮挡的物体一般处于遮挡物体的上方。请参考图1A所示的图像处理设备，其可以是一个位于监控系统后端可以获得双目摄像机输出的图片序列的服务器(或其他主机)，也可以是双目摄像机中某个摄像机内置的计算系统。该图像处理设备包括了一般的计算机系统的硬件框架，具体来说，该设备可以包括处理器、内存、非易失性存储器(比如硬盘)以及内部总线。在软件实现方案中，所述处理器可以将快速视差图像计算装置所对应的计算机程序指令从非易失性存储器读入内存中然后运行，在逻辑意义上形成所述快速视差图像计算装置。请查考图1B和图2，在逻辑层面，该快速视差图像计算装置包括：背景差分单元、背景视差单元、前景视差单元以及图像整合单元。该装置在图像处理设备上运行的过程中，执行如下处理方法。步骤201，背景差分单元，将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；步骤202，背景视差单元，按照预设的第一视差算法基于一对背景图像生成背景视差图像；步骤203，前景视差单元，按照预设的第二视差算法基于一对前景图像生成前景视差图像；步骤204，图像整合单元，前景视差图像与背景视差图像整合为完整的视差图像本文档来自技高网...

【技术保护点】
一种快速视差图像计算装置，应用于图像处理设备上，其特征在于：所述装置包括：背景差分单元，用于将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；背景视差单元，用于按照预设的第一视差算法基于一对背景图像生成背景视差图像；前景视差单元，用于按照预设的第二视差算法基于一对前景图像生成前景视差图像；图像整合单元，用于将前景视差图像与当前背景视差图像整合为完整的视差图像。

【技术特征摘要】
1.一种快速视差图像计算装置，应用于图像处理设备上，其特征在于：所述装置包括：背景差分单元，用于将双目摄像机输出的时间上相互对应的一对原始图像分别进行背景差分处理获得一对背景图像以及一对前景图像；背景视差单元，用于按照预设的第一视差算法基于一对背景图像生成背景视差图像；前景视差单元，用于按照预设的第二视差算法基于一对前景图像生成前景视差图像；图像整合单元，用于将前景视差图像与当前背景视差图像整合为完整的视差图像；所述第二视差算法针对前景图像的扫描过程包括：S1，针对前景图像进行扫描，计算扫描线上每个像素点的视差；S2，判断当前扫描线是否具有预设的传播例外规则，如果是转S3，否则转S4；S3，按照初始置信规则设置当前扫描线的置信等级，转S5；S4，判断前一扫描线的置信等级是否为第一等级，如果是则将当前扫描线设置为第一等级，否则转S3；S5，判断当前扫描线是否为本次扫描最后一条扫描线，如果是则结束，否则转S1；所述按照初始置信规则设置当前扫描线的置信等级具体包括：若所述一对前景图像在扫描线上的长度差值小于预设差值，则将当前扫描线的置信等级设置为第一等级，否则设置为第二等级；所述预设的传播例外规则包括以下规则中的一种或多种：第一规则：当前扫描线相对于前一扫描线的长度变化大于指定阈值；第二规则：当前扫描线连续性区域的变化方向与前一扫描线不一致；第三规则：当前扫描线的连续性区域的长度大于预设的先验参数；第四规则：当前扫描线与前一扫描线相比连续性区域的数量不一致。2.如权利要求1所述的装置，其特征在于，所述第一视差算法与第二视差算法不同，且所述第一视差算法具体包括：间隔多个原始图像帧更新计算一次当前背景视差图像。3.如权利要求1所述的装置，其特征在于，所述第二视差算法包括：一个第一维度上两个相对方向的扫描过程；或者一个第一维度上两个相对方向的扫描过程以及第二维度上的扫描过程。4.如权利要求1所述的装置，其特征在于，所述一对前景图像包括左目前景图像以及右目前景图像，在当前扫描线在左目前景图像以及右目前景图像上不存在相反方向突变时，计算扫描线上每个像素点的视差过程包括：先计算出扫描线上两个边缘像素点的视差，然后使用线性差分方法计算出其他像素点的视差；在当前扫描线在左目前景图像以及右目前景图像上存在相反方向突变时，计算该扫描线上每个像素点的视差过程包括：取右目图像中两个边缘像素点c2和d2位置的中心像素点m2，然后获取像素点c3＝m2-w/2以及像素点d3＝m2+w/2，其中w为前景图像的预设先验宽度，使用c3作为左目图像上一个边缘点c1在右目图像上的匹配点，使用d3作为左目图像上另一个边缘像素点d1的匹配点，然后使用线性差分方法计算c1到d1之间像素点的视差。5.如权利要求1所述的装置，其特征在于，所述置信等级包括第一等级以及第二等级，前景视差单元进一步用于选择第二等级的像素点作为待调像素点，针对该待调整像素点进行视差修正，其中该修正过程包括：在第一维度的两个相对的方向以及第二维度的两个相对方向上进行遍历以获取四个方向上置信等级为第一等级的参考像素点；其中修正后的视差其中Ci为预设的参考像素点的权值；ΔDi为第i个参考像素点与待调整像素点的位置差，σs为ΔDi的权重，Δmi为第i个参考像素点与待调整像素点灰度差，σr为Δmi的权重，di为第i个参考像素点的视差。6.如权利要求1所述的装置，其特征在于，还包括：动态规划单元，用按照预设的动态规划算法对前景视差图像进行求精规划后提供给图像整合单元；其中所述动态规划算法中使用的匹配开销算法具体为：其中C(p,d)则代表像素点p的原始匹配成本，Cq表示像素点q的权值，所述|p-q|表示两个像素点的位置差；|I(p)-I(q)|表示两个像素点的灰度差；lnum表示两个像素点八个梯度相等的数量；σs为位置差的权重，σr为灰度差的权重；σl为lnum的权重。7.如权利要求6所述的装置，其特征在于，所述预设的动态规划算法为：在水平和垂直两个维度进行两次迭代的动态规划算法。8.如权利要求6所述的装置，其特征在于，在所述动态规划算法中，一个扫描线对应于的规划结果数量与该扫描线上存在的连续区域数量对应，且每个规划结果是相互独立的；所述动态规划算法中使用的匹配成本聚焦函数具体为：其中k和i为大于1的自然数，且k>i；r代表预设方向的数量，P1和P2分别代表对应方向的像素点如果和相邻像素点灰度差超过1或者2时所对应的惩罚因子，且P2>P1；所述d为p像素点的视差，所述Lr(p-r,d)代表p像素点的r方向上的匹配成本，所述C(p,...

【专利技术属性】
技术研发人员：苏志杰，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33