一种基于FPGA的视频梯形畸变实时校正系统和方法技术方案

本发明专利技术提供一种基于FPGA的视频梯形畸变实时校正系统和方法，视频采集模块先采集视频数据并输入视频畸变特征提取模块；在视频畸变特征提取模块中，图像预处理子模块对输入的视频数据中每一帧图像进行预处理，LSD算法子模块利用预设的改进后的LSD算法对预处理后的视频数据中每一帧图像进行畸变点提取；视频畸变几何校正模块根据每一帧图像中的畸变点提取结果对预处理后的视频数据进行梯形畸变校正，通过视频输出模块输出校正后的视频数据；重复上述步骤，完成视频梯形畸变的实时校正；本发明专利技术基于改进的LSD算法的系统可以实时地对视频每一帧图像的梯形畸变进行校正，系统的处理速度和准确性都达到了较高水平。度和准确性都达到了较高水平。度和准确性都达到了较高水平。

【技术实现步骤摘要】
一种基于FPGA的视频梯形畸变实时校正系统和方法


[0001]本专利技术涉及视频图像检测和FPGA
，更具体地，涉及一种基于FPGA的视频梯形畸变实时校正系统和方法。

技术介绍

[0002]随着现代科学技术的发展，摄像系统越来越广泛的应用在各个领域，如公共交通中的摄像监控、医疗中不同辅助手段的应用、建筑行业中的测绘与勘探和电视转播中的体育直播等领域，都离不开实时的摄像系统。但在一些特定情况下，由于拍摄场地或者拍摄设备等的限制，所拍摄的视频成像质量无法满足实际需求。例如，当拍摄的摄像头无法放置于合适的位置，以及场地过大时，由于摄像头的拍摄能力有限，导致拍摄出的图像会出现梯形几何畸变，无法达到所需要的质量和效果。为了应对此类情况，通常需要对由摄像头采集的视频流数据进行实时的校正，并保证校正过程中的准确性与实时性。
[0003]梯形畸变是最常见的视频畸变类型之一，如图1所示为车道线拍摄畸变示意图，从其中可以看出原本平行的车道线在摄像头的拍摄下已经成为了类似梯形两条侧边的位置关系，另外一方面，除了车道线发生了畸变，在路面的各类标识符也会严重变形，这样会对后续的车道线识别产生严重的影响，进而影响到后续的自动驾驶功能，更甚者会对驾驶员和乘客的人身安全造成极大的风险。
[0004]梯形畸变的矫正由于其复杂的算法，在目前的研究之中往往通过软件编程的方法来实现；梯形畸变的校正主要实现包括两部分，一部分是梯形畸变点的识别和提取，另外一部分是在提取到畸变点之后，进行图像变换。
[0005]梯形畸变点的准确提取和识别也是校正的难点和关键，通常采用直接提取或先提取若干直线后取直线交点的方法来获取畸变点。LSD（Line Segment Detector）算法是一种常用的、像素级的直线检测算法，其优势是可以在线性时间复杂度之内将图像中的直线段提取出来，并且可以提取同一图像中的多条直线，对直线之间的位置关系和长度等并无严苛要求，因此其适用范围较广，是一种较为可靠的图像直线检测算法。
[0006]FPGA（Field
‑
Programmable Gate Array），即现场可编程逻辑门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。FPGA作为现代电子信息产业常用的信息处理手段，具有以下显著优点：1）设计灵活，FPGA 属于硬件可重构的芯片结构，内部具有数量丰富的可编程输入输出单元引脚及触发器；2）使用便捷，FPGA 是专用电路中开发周期最短、应用风险最低，开发成本最低的器件之一；3）并行计算，FPGA 芯片内部可按照数据包步骤数量搭建相对应的流水线，从而实现数据并行、流水线并行。
[0007]目前针对视频梯形畸变校正的完整处理方法较为少见，现有的处理方法局限性十分明显，无法满足该系统所要求的实时性和准确性。在特定情景之下，需要经过系统的视频流数据往往巨大，对系统的处理能力有着极高的需求。FPGA的并行计算能力针对视频处理有很高的适配性，可以大大提高系统的运行速度，从而满足系统的实时性要求；并且由于FPGA易定制的特点，对不同的精确性要求可以进行精准匹配，避免资源浪费。在FPGA上实现
的系统也具有成本较低，可移植性强的特点。因此基于FPGA和LSD算法开发的视频梯形畸变校正系统具有良好的应用前景和市场价值。
[0008]现有技术公开了一种基于LSD算法的实时直线段检测系统及方法，该系统包括：彩色图像转灰度模块、梯度计算模块、像素数据重构模块、梯度伪排序模块、梯度阈值模块、若干区域增长模块及外部时钟复位模块；色图像转灰度模块的输出端连接梯度计算模块的第一输入端，梯度计算模块的第二输入端连接外部时钟复位模块的输出端；梯度计算模块的输出端连接像素数据重构模块的输入端；像素数据重构模块的输出端依次连接梯度伪排序模块、梯度阈值模块、若干区域增长模块；尽管该现有技术采用硬件电路在FPGA硬件平台上实现基于LSD算法的实时图像直线段检测，但该系统主要是针对图片进行开发的，其所需的计算时间较长，无法满足视频流数据所要求的处理速度，且算法复杂，占用计算资源较多；另外，该方案由于直接输入图像数据进行检测，检测结果易受噪点干扰。

技术实现思路

[0009]本专利技术为克服上述现有技术易受噪点干扰、硬件实现速度较慢和资源消耗过大的缺陷，提供一种基于FPGA的视频梯形畸变实时校正系统和方法，基于改进的LSD算法的系统可以实时地对视频每一帧图像的梯形畸变进行校正，系统的处理速度和准确性都达到了较高水平。
[0010]为解决上述技术问题，本专利技术的技术方案如下：一种基于FPGA的视频梯形畸变实时校正系统，包括依次连接的视频采集模块、视频畸变特征提取模块、视频畸变几何校正模块和视频输出模块；所述视频畸变特征提取模块还包括依次连接的图像预处理子模块和LSD算法子模块；所述视频畸变特征提取模块、视频畸变几何校正模块和视频输出模块均基于FPGA设置。
[0011]优选地，所述视频采集模块具体为OV5640图像传感器。
[0012]优选地，所述FPGA具体为PGL22G开发板。
[0013]本专利技术还提供一种基于FPGA的视频梯形畸变实时校正方法，基于上述的一种基于FPGA的视频梯形畸变实时校正系统，包括以下步骤：S1：所述视频采集模块采集视频数据，并将采集到的视频数据输入视频畸变特征提取模块；S2：在所述视频畸变特征提取模块中，图像预处理子模块对输入的视频数据中每一帧图像进行预处理，获取预处理后的视频数据并输入LSD算法子模块；S3：所述LSD算法子模块利用预设的改进后的LSD算法对预处理后的视频数据中每一帧图像进行畸变点提取，并将预处理后的视频数据和每一帧图像中的畸变点提取结果共同输入视频畸变几何校正模块；S4：所述视频畸变几何校正模块根据每一帧图像中的畸变点提取结果对预处理后的视频数据进行梯形畸变校正，获取校正后的视频数据，并通过视频输出模块输出校正后的视频数据；S5：重复步骤S1~S4，完成视频梯形畸变的实时校正。
[0014]优选地，所述步骤S2中，图像预处理子模块对输入的视频数据中每一帧图像进行预处理的具体方法为：对输入的视频中每一帧图像依次进行高斯滤波和图像边缘锐化处理。
[0015]优选地，所述步骤S3中，所述LSD算法子模块利用预设的改进后的LSD算法对预处理后的视频数据中每一帧图像进行畸变点提取的具体方法为：S3.1：所述LSD算法子模块对预处理后的视频数据中的每一帧图像进行基于Sobel算子的二值化处理和边缘识别，获取每一帧图像的边缘识别结果；S3.2：根据每一帧图像的边缘识别结果计算对应帧图像中每个像素点的梯度幅值和梯度方向，将梯度幅值大于预设阈值且梯度方向为非竖直方向的所有像素点共同保存为对应帧图像的种子点；S3.3：对于每一帧图像，从每个种子点开始，进行4邻域的被动区域增长，获取每一帧图像中的所有直线；S3.4：根据每一帧图像中的所有直线，提取每两条直线的交点，将提取到的所有交点共同保存为预处理后的视频数据中每一帧图像的畸变点提取结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的视频梯形畸变实时校正系统，其特征在于，包括依次连接的视频采集模块、视频畸变特征提取模块、视频畸变几何校正模块和视频输出模块；所述视频畸变特征提取模块还包括依次连接的图像预处理子模块和LSD算法子模块；所述视频畸变特征提取模块、视频畸变几何校正模块和视频输出模块均基于FPGA设置。2.根据权利要求1所述的一种基于FPGA的视频梯形畸变实时校正系统，其特征在于，所述视频采集模块具体为OV5640图像传感器。3.根据权利要求2所述的一种基于FPGA的视频梯形畸变实时校正系统，其特征在于，所述FPGA具体为PGL22G开发板。4.一种基于FPGA的视频梯形畸变实时校正方法，基于权利要求1~3任意一项中所述的一种基于FPGA的视频梯形畸变实时校正系统，其特征在于，包括以下步骤：S1：所述视频采集模块采集视频数据，并将采集到的视频数据输入视频畸变特征提取模块；S2：在所述视频畸变特征提取模块中，图像预处理子模块对输入的视频数据中每一帧图像进行预处理，获取预处理后的视频数据并输入LSD算法子模块；S3：所述LSD算法子模块利用预设的改进后的LSD算法对预处理后的视频数据中每一帧图像进行畸变点提取，并将预处理后的视频数据和每一帧图像中的畸变点提取结果共同输入视频畸变几何校正模块；S4：所述视频畸变几何校正模块根据每一帧图像中的畸变点提取结果对预处理后的视频数据进行梯形畸变校正，获取校正后的视频数据，并通过视频输出模块输出校正后的视频数据；S5：重复步骤S1~S4，完成视频梯形畸变的实时校正。5.根据权利要求4所述的一种基于FPGA的视频梯形畸变实时校正方法，其特征在于，所述步骤S2中，图像预处理子模块对输入的视频数据中每一帧图像进行预处理的具体方法为：对输入的视频中每一帧图像依次进行高斯滤波和图像边缘锐化处理。6.根据权利要求5所述的一种基于FPGA的视频梯形畸变实时校正方法，其特征在于，所述步骤S3中，所述LSD算法子模块利用预设的改进后的LSD算法对预处理后的视频数据中每一帧图像进行畸变点提取的具体方法为：S3.1：所...

【专利技术属性】
技术研发人员：张炜，何露，
申请(专利权)人：广州市大湾区虚拟现实研究院，
类型：发明
国别省市：