基于Census算法的匹配代价计算电路结构及其工作方法技术

本发明专利技术公开了一种基于Census算法的匹配代价计算电路结构及其工作方法，包括：第一阶段，双目相机的左右相机拍摄得到的原始的左右图像像素值，间隔指定周期进入缓存模块进行缓存；第二阶段，对左右图像进行窗口内部处理，来自缓存模块的数据信息进入窗口模块，在指定周期内处理并输出；第三阶段，初始代价求取及优化，经窗口处理模块得到的数据进入计算模块在指定周期内完成初始代价求取和初始代价的比特串位数优化，最后由输出模块拼接输出。本发明专利技术提供的基于Census算法的匹配代价计算电路结构及其工作方法，计算过程涉及了加减法和异或等运算，电路中也主要使用了加法器、减法器、异或等电路结构，实现图像及视频数据变换过程简单，可以降低片上资源消耗。

【技术实现步骤摘要】
基于Census算法的匹配代价计算电路结构及其工作方法
本专利技术属于图像、视频处理
，具体涉及一种对图像、视频进行预处理的基于Census算法的匹配代价计算电路结构及其工作方法。本专利技术可用于对高清图像、视频进行实时处理的立体匹配系统。
技术介绍
随着计算机视觉的快速发展，人们对视频分辨率的要求越来越高，视频分辨率朝着4K(3840×2160)和8K(7680×4320)超高清方向发展。立体匹配是立体视觉中关键的一部分，立体匹配是一种从平面图像中恢复拍摄的目标物体的深度信息的技术。双目立体视觉在充分理解并分析人类视觉系统工作原理的基础之上，结合现有的技术手段，利用摄像机和计算机来模拟人类视觉系统。其基本原理是：首先采用在不同位置上的两个或多个摄像机对同一目标进行拍摄，从不同的视角获得二维图像；空间点在所得到的图像中的位置偏差根据像素匹配来计算；最后根据所得到的位置偏差利用三角测量原理来进行三维重建。立体匹配主要包括求初始匹配代价计算、代价聚合、视差计算和视差优化。立体匹配技术的发展日新月异，随着匹配算法精度与速度的提高，其应用场景进一步扩大。Census算法是计算初始代价的一种方法，是立体匹配系统中的重要一部分，针对高清图像、视频的立体匹配系统，如何在实际的使用中做到更低的成本，关键在于如何降低片上资源消耗；只有有效地控制片上资源消耗，才能保证更好的应用于工程实践中。Census区域匹配算法是属于非参数区域算法的一种，Census变换是基于邻域灰度比较而并非灰度本身，因此基于Census变换的区域匹配算法对增益和亮度偏差等现象比较鲁棒，而且Census变换保留了邻域像素的位置信息，具有很好的匹配效果。基于Census算法的匹配代价计算硬件电路结构主要包括原始的左右图像的缓存；对左右图像进行窗口内部处理；初始代价求取及优化三个阶段。上一阶段的输出作为下一个阶段的输入，缓存的像素值数据输出给窗口模块，左右图像窗口计算出比特串输出给下一阶段计算并优化初始代价。Census变换是一种用于局部立体匹配的非参数变换，变换过程简单，只用到了加减法和异或等运算，控制Census变换部分的资源消耗对立体匹配系统整体资源管控有着重要意义。
技术实现思路
本专利技术的目的是设计一种低资源消耗的基于Census算法的匹配代价计算电路结构及其工作方法，用于求取初始代价，以支持高清图像、视频的双目立体匹配工作及三维重建工作。有鉴于此，本专利技术提供了一种基于Census算法的匹配代价计算电路结构，包括：缓存模块，包括由随机存取存储器构成的左图像缓存模块和右图像缓存模块，实现对双目相机的左右相机拍摄得到的左右图像的像素值的缓存；进一步的，左图像缓存模块和右图像缓存模块结构相同，包括并列连接的指定数量的随机存取存储器，该指定数量值为不小于2的偶数。进一步的，左图像缓存模块中的随机存取存储器深度小于右图像缓存模块中的随机存取存储器的深度。窗口处理模块，包括由窗口阵列组成的左图像处理模块，以及右图像处理模块和对应的移位缓存模块，对应处理左图像缓存模块和右图像缓存模块中的像素值得到新的比特串输出；进一步的，左图像处理模块和右图像处理模块具有相同的窗口阵列，该窗口阵列由移位寄存器搭建而成。进一步的，该窗口阵列为窗口宽度×窗口高度排列，其中，窗口宽度和窗口高度为相同或不同的奇数。进一步的，窗口阵列最中央的点为窗口中心，存放的值为中心像素值，与窗口阵列存放的其余各像素值比较得到新的比特串输出。进一步的，右图像处理模块在窗口处理模块的基础上增加一移位缓存器，该缓存器对右图像处理模块中窗口阵列的输出比特串进行缓存后输出。计算模块，包括异或处理模块和计数处理模块，该异或处理模块实现对左图像处理模块和右图像处理模块的输出比特串在指定周期内的按位异或，并输出异或结果至计数处理模块，该计数处理模块在指定周期内求取对应的汉明距离并输出，即初始代价；优化模块，包括比较器和执行模块，实现在指定周期内对初始代价的比特串位数优化；输出模块，包括寄存器模块和拼接模块，将优化后的比特串按周期存入不同寄存器中，然后利用拼接模块对不同寄存器中的比特串进行组合，得到最终的优化初始代价数据信息。基于上述电路，本专利技术还提供了该基于Census算法的匹配代价计算电路结构的工作方法，处理过程分为3个阶段：首先获取原始图像，由双目相机的左相机和右相机拍摄得到左图像和右图像，然后进行分阶段处理；第一阶段为图像缓存，左图像和右图像的像素值间隔指定周期分别进入左图像缓存模块和右图像缓存模块进行缓存；第二阶段为窗口计算，来自左图像缓存模块和右图像缓存模块的数据信息分别进入左图像窗口处理模块和右图像窗口处理模块在指定周期内处理并输出；第三阶段为初始代价求取及优化，经窗口处理模块得到的数据进入计算模块在指定周期内完成按位异或，接着在规定周期内求取初始代价，然后进入优化模块实现初始代价的比特串位数优化，最后由输出模块组合输出。进一步的，窗口计算包括：将窗口阵列中除去中心像素值以外的其余各窗口存放的像素值分别与该中心像素值进行大小比较，比较次数用i表示，i＝窗口宽度×窗口高度-1，结果得到位宽为i的2进制比特串；以左图像作为目标图，右图像作为参考图，自左向右搜索；左图像通过窗口计算得到一个位宽为i的2进制比特串，右图像先做n次窗口计算，将每次得到的比特串进行缓存，得到n个位宽为i的2进制比特串；将右图像经处理得到的n个位宽为i的2进制比特串与左图像经处理得到的1个位宽为i的2进制比特串输出到初始代价求取及优化阶段进行计算及优化。更进一步的，初始代价求取及优化包括：窗口计算阶段的输出作为本阶段的输入，将左图像经处理得到的一个位宽为i的2进制比特串和右图像经处理得到的n个位宽为i的2进制比特串在计算模块中分别进行按位异或操作，求出n个新的位宽为i的2进制比特串；根据新的位宽为i的2进制比特串计算汉明距离；在优化模块对汉明距离进行压缩截断优化，得到初始代价。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例所述的基于Census算法的匹配代价计算硬件电路结构示意图；图2为本专利技术实施例所述的左图像的灰度值缓存的电路结构示意图；图3为本专利技术实施例所述的右图像的灰度值缓存的电路结构示意图；图4为本专利技术实施例所述的左图窗口内部计算的电路结构示意图；图5为本专利技术实施例所述的右图窗口内部计算的电路结构示意图；图6为本专利技术实施例所述的左、右图输出比特串按位异或电路结构示意图；图7为本专利技术实施例所述的计算汉明距离的电路结构示意图；图8为本专利技术实施例所述的初始代价优化电路结构示意图；图9为本专利技术实施例所述的所有视差下的初始代价组合输出电路示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合附图，对本专利技术提出的基于Census算法的匹配代价计算电路结构图做进一步说明。显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域的普通技术人员在没有做出创造性劳动前提下本文档来自技高网...

【技术保护点】
1.一种基于Census算法的匹配代价计算电路结构，其特征在于，所述电路结构实现了基于Census算法的匹配代价计算，包括：缓存模块，包括由随机存取存储器构成的左图像缓存模块和右图像缓存模块，实现对双目相机的左右相机拍摄得到的左右图像的像素值的缓存；窗口处理模块，包括由窗口阵列组成的左图像处理模块，以及右图像处理模块和对应的移位缓存模块，对应处理所述左图像缓存模块和右图像缓存模块中的像素值得到新的比特串输出；计算模块，包括异或处理模块和计数处理模块，所述异或处理模块实现对左图像处理模块和右图像处理模块的输出比特串在指定周期内的按位异或，并输出异或结果至计数处理模块，所述计数处理模块在指定周期内求取对应的汉明距离并输出，即初始代价；优化模块，包括比较器和执行模块，实现在所述指定周期内对所述初始代价的比特串位数优化；输出模块，包括寄存器模块和拼接模块，将所述优化后的比特串按周期存入不同寄存器中，然后利用拼接模块对所述不同寄存器中的比特串进行组合，得到最终的优化后的初始代价数据信息。

【技术特征摘要】
1.一种基于Census算法的匹配代价计算电路结构，其特征在于，所述电路结构实现了基于Census算法的匹配代价计算，包括：缓存模块，包括由随机存取存储器构成的左图像缓存模块和右图像缓存模块，实现对双目相机的左右相机拍摄得到的左右图像的像素值的缓存；窗口处理模块，包括由窗口阵列组成的左图像处理模块，以及右图像处理模块和对应的移位缓存模块，对应处理所述左图像缓存模块和右图像缓存模块中的像素值得到新的比特串输出；计算模块，包括异或处理模块和计数处理模块，所述异或处理模块实现对左图像处理模块和右图像处理模块的输出比特串在指定周期内的按位异或，并输出异或结果至计数处理模块，所述计数处理模块在指定周期内求取对应的汉明距离并输出，即初始代价；优化模块，包括比较器和执行模块，实现在所述指定周期内对所述初始代价的比特串位数优化；输出模块，包括寄存器模块和拼接模块，将所述优化后的比特串按周期存入不同寄存器中，然后利用拼接模块对所述不同寄存器中的比特串进行组合，得到最终的优化后的初始代价数据信息。2.根据权利要求1所述的基于Census算法的匹配代价计算电路结构，其特征在于，所述左图像缓存模块和右图像缓存模块结构相同，包括并列连接的指定数量的随机存取存储器，所述的指定数量值为不小于2的偶数。3.根据权利要求1或2任一所述的基于Census算法的匹配代价计算电路结构，其特征在于，所述左图像缓存模块中的随机存取存储器深度小于右图像缓存模块中的随机存取存储器的深度。4.根据权利要求1所述的基于Census算法的匹配代价计算电路结构，其特征在于，所述左图像处理模块和右图像处理模块具有相同的窗口阵列，所述窗口阵列由移位寄存器搭建而成。5.根据权利要求4所述的基于Census算法的匹配代价计算电路结构，其特征在于，所述窗口阵列为窗口宽度×窗口高度排列，所述窗口宽度和窗口高度为相同或不同的奇数。6.根据权利要求1或4或5任一所述的基于Census算法的匹配代价计算电路结构，其特征在于，所述窗口阵列最中央的点为窗口中心，存放的值为中心像素值，与窗口阵列存放的其余各像素值比较得到新的...

【专利技术属性】
技术研发人员：陈松，卫钦智，李智伟，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34