一种资源共享的立体匹配方法组成比例

本发明专利技术公开了一种资源共享的立体匹配方法，首先将待处理的两幅图通过摄像头拍摄,并经过校正后存储在外部存储器内；将存储在外部存储器中的图像数据，通过彩色空间到灰度空间转换模块从rgb格式转换成灰度格式，并存入两个乒乓快速缓冲存储区中；再经过视差处理,将所述乒乓快速缓冲存储区中的目标图和参考图不间断的进行匹配,得到初始视差图；对所得到的初始视差图进行进一步精炼，对视差图进行中值滤波；对视差图进行精炼处理后，再进行遮挡点的检测和填充。该方法中乒乓快速缓冲存储区和全流水线的设计是提高速度的关键，让参考图和目标图匹配时所等待的时间大大减少，该匹配方法具有实时性、低功耗、高精度的特点。

【技术实现步骤摘要】

本专利技术涉及视频图像处理
，尤其涉及。
技术介绍
目前，计算机视觉广泛应用于航天航空，机器人自动化，虚拟重构等多个领域，而 立体匹配是双目立体视觉的关键方法，在上面提及的很多领域中，大多情况下要求视觉系 统得到稠密的视差图，并且系统必须具有实时性，低功耗，高精度的特点。基于以上情况，必 须要有专门的硬件对专门的算法进行加速。根据Scharstein对立体匹配分类，算法大体分 为4个部分：1)代价计算，2)代价聚合，3)视差计算/优化，4)视差精炼。而根据视差计 算方法的不同，算法分为局部算法和全局算法。其中，局部算法在视差计算时取的是局部最 优，所以数据依赖关系不高，并行度很大，适合用硬件实现；全局算法在视差计算时取的是 全局最优，数据依赖关系高，并行度很小，并且要求很大的存储器的资源。在局部算法中，常见算法有SAD(SumOfAbsoluteDifferences)，SSD(Sumof SquaredDifferences),STAD(SumofTruncatedabsolutedifferences),ADSff(Adaptive SupportWindow),对于SAD,SSD,STAD算法而言，对于曝光，亮度带来的差异而言，带阈值 的绝对值差STAD算法鲁棒性最好。而对于ADSW算法，在如今视频图像清晰度要求越来越 高的情况下，用硬件实现不能达到很高的速度。虽然有很多针对局部算法的硬件架构提出， 但很多都没有在精度和速度上做一个权衡。
技术实现思路
本专利技术的目的是提供，该匹配方法具有实时性、低 功耗、高精度的特点。 -种资源共享的立体匹配方法，所述方法包括： 将待处理的两幅图通过摄像头拍摄，并经过校正后存储在外部存储器内； 将存储在外部存储器中的图像数据，通过彩色空间到灰度空间转换模块从rgb格 式转换成灰度格式，并存入两个乒乓快速缓冲存储区中； 再经过视差处理，将所述乒乓快速缓冲存储区中的目标图和参考图不间断的进 行匹配，得到初始视差图； 对所得到的初始视差图进行进一步精炼，对视差图进行中值滤波； 对视差图进行精炼处理后，再进行遮挡点的检测和填充。 由上述本专利技术提供的技术方案可以看出，该方法中乒乓快速缓冲存储区和全流水 线的设计是提高速度的关键，让参考图和目标图匹配时所等待的时间大大减少，该匹配方 法具有实时性、低功耗、高精度的特点。【附图说明】 为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本 领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 附图。 图1为本专利技术实施例所提供资源共享的立体匹配方法流程示意图； 图2为本专利技术实施例所述整体匹配过程的架构示意图； 图3为本专利技术实施例所述参考图的整体架构示意图； 图4为本专利技术实施例所述参考图的行缓存和存储器阵列硬件架构示意图；图5为本专利技术实施例所述目标图的整体硬件架构示意图； 图6为本专利技术实施例所述目标图的行缓存和存储器阵列硬件架构示意图； 图7为本专利技术实施例所述视差处理的结构示意图； 图8为本专利技术实施例所述TAD的硬件架构示意图； 图9为本专利技术实施例所述STADTREE的硬件架构示意图； 图10为本专利技术实施例所述最小STAD存储器硬件架构示意图； 图11为本专利技术实施例所述视差存储器的架构示意图； 图12为专利技术实施例所述中值滤波的架构示意图。【具体实施方式】 下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本 专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本专利技术的保护范围。 下面将结合附图对本专利技术实施例作进一步地详细描述，如图1所示为本专利技术实施 例所提供资源共享的立体匹配方法流程示意图，如图2所示为整体匹配过程的架构示意 图，结合图1和2,所述方法包括： 步骤11 :将待处理的两幅图通过摄像头拍摄，并经过校正后存储在外部存储器 内； 步骤12 :将存储在外部存储器中的图像数据，通过彩色空间到灰度空间转换模块 从rgb格式转换成灰度格式，并存入两个乒乓快速缓冲存储区中； 在该步骤中，具体是通过彩色空间到灰度空间转换模块从rgb(redgreenblue) 格式（24bit)转换成灰度（intensity)格式（8bit)，并存入两个乒乓快速缓冲存储区中。 这里，为了使数据能够同步，并且尽可能地加速匹配，本专利技术设计了两个乒乓快速 缓冲存储区，两个乒乓快速缓冲存储区的结构一样，每个乒乓快速缓冲存储区包含两个部 分，分别存储目标图和参考图。 具体实现中，该乒乓快速缓冲存储区的工作原理为： 1)如图3所示为本专利技术实施例所述参考图的整体架构示意图，其灰度图存于参考 图像帧缓存中，参考图像地址产生器状态机控制地址产生器产生参考图像帧缓存所需要的 地址，和demux的选通状态，从参考图像帧缓存中出来的参考图的匹配数据，通过demux，选 通入下方的行缓存中缓存。参考图像工作状态机1和参考图像工作状态机2作用是控制各 自行缓存和寄存器阵列的移位功能，行缓存为8行，1024列，寄存器阵列为8行，8列。 当下方行缓存缓存好要处理的8行之后，再延时8个周期，使要匹配的块装入寄 存器阵列，并且此时参考图像工作状态机1跳转到R_F_WAIT状态，停止下方行缓存和寄存 器阵列的移位功能，等待目标图像的装载完成。等到目标图像装载完成之后，开始进行匹 配，参考图像工作状态机1跳转到R_F_PR0CESS状态（此时行缓存和寄存器阵列移位功能 是关闭的），等第一个8x8块匹配完成之后，参考图像工作状态机1跳转到R_F_SHIFT状 态，持续6个周期，让第二个8x8装入寄存器阵列中，原因是因为3x3窗口，第一次8x8的最 后两列可以重复使用，新的列只有6列，后面的处理过程雷同。在第一个8行处理的同时， demux改变数据流方向，参考图像地址产生器状态机产生下一个8行，1024列的数据，数据 缓存到上面的行缓存，同样由于采用3x3的匹配窗口，第二个8行的启始行必须从第6行开 始，这也就是在地址产生器中r_row_block_counter乘以6的原因。在全部装载完毕后，参 考图像工作状态机2跳转到R_S_WAIT状态，等待上一个8行处理完后，可以不间断的处理 下一个8行，如图4所示为本专利技术实施例所述参考图的行缓存和存储器阵列硬件架构示意 图。 2)如图5所示为本专利技术实施例所述目标图的整体硬件架构示意图，其灰度图存于 目标图像帧缓存中，因为处理的数据是以8x8窗口为基础的（聚合窗口为3x3)，目标图像地 址产生器状态机1和目标图像地址产生器状态机2分别产生处理以8x8窗口为基础的奇数 次和以8x8窗口为基础的偶数次所需的数据的地址，和参考图一样，首先是要把匹配的数 据送入寄存器中缓存，其过程是： 开始装载数据时，上下两个缓存单元同时开始装载，此时地址产生器产生地址从 目标图像帧缓存取数据，同时行缓存，寄存器阵列移位功能打开，并且Mux阵列处在0状态， 整个寄存器阵列作为行缓冲单元，本文档来自技高网...

【技术保护点】
一种资源共享的立体匹配方法，其特征在于，所述方法包括：将待处理的两幅图通过摄像头拍摄,并经过校正后存储在外部存储器内；将存储在外部存储器中的图像数据，通过彩色空间到灰度空间转换模块从rgb格式转换成灰度格式，并存入两个乒乓快速缓冲存储区中；再经过视差处理,将所述乒乓快速缓冲存储区中的目标图和参考图不间断的进行匹配,得到初始视差图；对所得到的初始视差图进行进一步精炼，对视差图进行中值滤波；对视差图进行精炼处理后，再进行遮挡点的检测和填充。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨晨，李艳，陈松，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34