一种实时图像序列的几何校正装置制造方法及图纸

本发明专利技术涉及一种实时图像序列的几何校正装置，其中，流水线实时计算模块用于根据标定的相机参数实时计算输出图像像素点的位置坐标相对于输入图像像素点的位置坐标；输入缓存单元用于缓存输入图像数据；输入缓存管理模块用于根据输入图像像素点的位置坐标的整数部分管理输入缓存单元中的输入图像数据；插值计算模块用于将输入图像像素点的位置坐标的小数部分作为插值计算的权重，对输入图像数据进行插值计算，得到校正图像值；校正系统控制模块用于启动流水线实时计算模块和控制输入缓存管理模块的数据处理，以完成从输入畸变图到输出校正图的时序控制。本发明专利技术能够以较少的嵌入式硬件资源实现高实时性图像序列的校正。入式硬件资源实现高实时性图像序列的校正。入式硬件资源实现高实时性图像序列的校正。

【技术实现步骤摘要】
一种实时图像序列的几何校正装置


[0001]本专利技术涉及图像校正
，特别是涉及一种实时图像序列的几何校正装置。

技术介绍

[0002]自主导航、自动驾驶、工业检测等领域，传感器子系统的选择和设计直接影响着整个系统的最终性能。相比激光雷达等主动视觉传感器，以图像传感器为代表的被动视觉传感器，因纹理信息丰富而具有不可替代的显著优势，因而也得到越来越多的研究和应用。但是，图像信息超大的数据量带来了运算成本和系统功耗的增加，以及实时性的降低，而这也成为影响其应用推广的不利因素。双目或多目的图像传感器使得该问题被成倍放大，更增加了应用的困难。因此，建立高实时性的校正方法、实现低功耗低成本的校正装置对于推广视觉传感器应用具有重要意义。
[0003]图像校正是被动视觉传感器的一项基础运算。特别是在双目立体视觉应用中，双目图像序列的标定和校正是双目立体视觉传感器开展后端视觉算法的基础和前提。图像校正的基本原理是基于光学镜头模型，建立输出图像像素与输入图像像素的映射关系。常规的图像校正处理方法是先缓存整帧的图像数据，然后根据计算目标像素在原始图像中的位置，从存储介质中依次取出图像数据进行插值计算，从而得到校正输出图像。现有的图像序列映射技术方案有：(1)通用CPU的GPU方案，该方案中包括了个人电脑、工业电脑、服务器等通用运算单元所采用的方式，该方案本身在价格和功耗上均较高，且需要缓存整帧图像数据并执行串行映射处理，实时性低；(2)传统FPGA映射方案，需要提前计算映射表，并对映射表进行预处理和存储，由于映射表数据量较大，常常依赖不同形式接入的DDR存储器，不但大大增加了缓存资源和系统带宽的需求，而且带来硬件成本和功耗的增加。
[0004]由此可见，现有方案中对于硬件资源有限的嵌入式应用来说是难以实现的，具体表现为：1)如果利用片上存储介质缓存整帧图像数据，将需要消耗大量的存储资源；2)如果缓存整帧图像数据到DDR存储介质，则会占用大量的DDR带宽；3)缓存整帧图像后才进行图像校正，增加了图像处理的延时，实时性降低。

技术实现思路

[0005]本专利技术所要解决的技术问题是提供一种实时图像序列的几何校正装置，能够以较少的嵌入式硬件资源实现高实时性图像序列的校正。
[0006]本专利技术解决其技术问题所采用的技术方案是：提供一种实时图像序列的几何校正装置，包括：校正系统控制模块、流水线实时计算模块、输入缓存管理模块、输入缓存单元和插值计算模块，所述流水线实时计算模块用于根据标定的相机参数实时计算输出图像像素点的位置坐标相对于输入图像像素点的位置坐标；所述输入缓存单元的输入端与输入接口相连，用于缓存输入图像数据；所述输入缓存管理模块用于根据所述输入图像像素点的位置坐标的整数部分管理所述输入缓存单元中的输入图像数据；所述插值计算模块的输入端与所述输入缓存单元的输出端相连，输出端与输出接口相连，用于将所述输入图像像素点
的位置坐标的小数部分作为插值计算的权重，对所述输入图像数据进行插值计算，得到校正图像值；所述校正系统控制模块用于启动所述流水线实时计算模块和控制所述输入缓存管理模块的数据处理，以完成从输入畸变图到输出校正图的时序控制。
[0007]所述输入接口和输出接口以流接口作为主模式，同时支持AXI接口作为备用模式。
[0008]所述流水线实时计算模块通过实时计算输出图像像素点的位置坐标相对于输入图像像素点的位置坐标，其中，x
′
,y
′
为输出图像像素点的归一化位置坐标，r2＝x
′2+y
′2，x
″
,y
″
为输入图像像素点的位置坐标，k1～k6为相机的径向畸变参数，p1,p2为相机的切向畸变参数。
[0009]所述流水线实时计算模块为7级流水线实时计算模块，在计算时对进行分解，分解后的第一级运算包括：其中，x,y为输出图像像素点的坐标，z为归一化系数；第二级运算包括：r2＝x
′2+y
′2、m＝2x
′
*y
′
和第三级运算包括：和第四级运算包括：和第五级运算包括：和第六级运算包括：k
r
＝k
′
/k
″
，第七级运算包括：和
[0010]所述输入缓存管理模块动态更新所述输入缓存单元中输入图像数据的行范围，具体为：新的输出行对应的输入图像数据缓存的行范围产生后，通过排序获得其最大和最小值，并和上一行范围对应的最大和最小值进行比较；如果当前行范围的最小值等于上一行范围的最小值，则保留最小行的数据；如果当前行范围的最小值大于上一行范围的最小值，则删除小于当前最小行的数据；如果当前行范围的最大值等于上一行范围的最大值，则不需要缓存新的输入图像数据；如果当前行范围的最大值大于上一行范围的最大值，则需要继续缓存新的输入图像数据，直到最大行范围内的数据已缓存，启动下一行的数据读取。
[0011]所述输入缓存单元在对输入图像数据缓存采用回环更新的方式进行更新，所述回环更新方式分为4个状态：第一状态从最低地址开始缓存数据并满足最大行范围的存储需求，当存储行范围更新时，进入第二状态，第二状态将删除无用的数据，并释放低地址空间；当缓存的数据到达缓存地址的最大值时，对应第三状态，最大行的存储地址跳转到缓存的
起始地址，继续缓存后面的数据，同时进入第四状态。
[0012]所述插值计算模块的输出端和输出接口之间还设置有输出图像缓存，所述输出图像缓存通过快满标记作为反馈信号提供给所述输入缓存管理模块。
[0013]当快满标记为低电平，所述输入缓存管理模块通过取出所述输入缓存单元中输入图像数据并在所述插值计算模块中计算得到输出数据，并通过输出图像缓存输出；当快满标记为高电平，所述输入缓存管理模块停止取数据。
[0014]当输出图像缓存的余量小于深度的一半，则快满标记为低电平，当输出图像缓存的余量大于或等于深度的一半，则快满标记为高电平；所述深度为第一时钟周期n和第二时钟周期m两个值中的最大值的2倍，所述第一时钟周期n为快满标记刚为低电平到所述输出图像缓存得到第一个数据的时钟周期，所述第二时钟周期m为快满标记刚为高电平到数据停止写入所述输出图像缓存的时钟周期。
[0015]有益效果
[0016]由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：
[0017]本专利技术针对机器视觉和计算机视觉应用中对相机畸变图像的校正要求，首先通过标定方法确立图像采集装置的内部参数、外部参数和镜头畸变参数，然后用硬件加速模块实时计算目标像素在原始图像中的位置，并利用双线性插值实时获得目标像素值，从而以较少的嵌入式硬件资源实现高实时性图像序列的校正。
[0018]本专利技术综合考虑模块的使用场景，提供了流接口和AXI可选择的接口方案，且在算法执行过程中，不与DDR发生数据交换，降低了对DDR的依赖和DDR带宽占用，减小了外部存储器，降低硬件成本；本专利技术在硬件设计中采用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时图像序列的几何校正装置，其特征在于，包括：校正系统控制模块、流水线实时计算模块、输入缓存管理模块、输入缓存单元和插值计算模块，所述流水线实时计算模块用于根据标定的相机参数实时计算输出图像像素点的位置坐标相对于输入图像像素点的位置坐标；所述输入缓存单元的输入端与输入接口相连，用于缓存输入图像数据；所述输入缓存管理模块用于根据所述输入图像像素点的位置坐标的整数部分管理所述输入缓存单元中的输入图像数据；所述插值计算模块的输入端与所述输入缓存单元的输出端相连，输出端与输出接口相连，用于将所述输入图像像素点的位置坐标的小数部分作为插值计算的权重，对所述输入图像数据进行插值计算，得到校正图像值；所述校正系统控制模块用于启动所述流水线实时计算模块和控制所述输入缓存管理模块的数据处理，以完成从输入畸变图到输出校正图的时序控制。2.根据权利要求1所述的实时图像序列的几何校正装置，其特征在于，所述输入接口和输出接口以流接口作为主模式，同时支持AXI接口作为备用模式。3.根据权利要求1所述的实时图像序列的几何校正装置，其特征在于，所述流水线实时计算模块通过实时计算输出图像像素点的位置坐标相对于输入图像像素点的位置坐标，其中，x
′
,y
′
为输出图像像素点的归一化位置坐标，r2＝x
′2+y
′2，x
″
,y
″
为输入图像像素点的位置坐标，k1～k6为相机的径向畸变参数，p1,p2为相机的切向畸变参数。4.根据权利要求3所述的实时图像序列的几何校正装置，其特征在于，所述流水线实时计算模块为7级流水线实时计算模块，在计算时对进行分解，分解后的第一级运算包括：其中，x,y为输出图像像素点的坐标，z为归一化系数；第二级运算包括：r2＝x
′2+y
′2、m＝2x
′
*y
′
和第三级运算包括：第三级运算包括：和第四级运算包括：和第五级运算包括：和第六级运算包括：k
r
＝k
′
/k
″
，第七级运算包括：和5.根据...

【专利技术属性】
技术研发人员：罗艺华，付凤杰，刘德华，李嘉茂，王磊，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：