一种基于FPGA的车辆环境感知方法技术

本发明专利技术公开一种基于FPGA现场可编程门阵列的车辆环境感知方法，通过对车辆环境全方位图像采集，图像数据的高速传输和存储，将多传感器融合的阵列相机系统安装在车辆周围，从不同角度完成图像采集，对图像进行智能化的算法处理，并将处理结果返回给中心控制系统。其中，图像的采集主要是针对黄色车道线的提取算法，该算法能够实现不同条件下车辆环境的检测和感知。该算法的实现主要是通过FPGA，并且对计算流程和实现方式进行了优化。所以，本发明专利技术能够处理速度要求高，安装空间小的智能车驾驶系统。

【技术实现步骤摘要】
一种基于FPGA的车辆环境感知方法
本专利技术涉及车辆检测方法，尤其涉及一种基于FPGA的车辆环境感知方法。
技术介绍
随着计算机电子技术与自动控制技术的发展，智能化移动平台越来越广泛地应用于军事，科研领域。自主式车辆作为当代汽车产业的发展方向，尽管有许多研究者投入钻研，却依旧未能真正走进百姓的生活，原因便是目前的各种环境感知方法难以真正有效、准确地实现环境数据获取。大多数研究方法主要利用视觉系统，而采用多传感器的研究相对较少。采用单传感器有如下的不足之处：系统测量维度和置信度较低，系统可靠性较差，性能不稳定，系统资源利用率低等。而多传感器也存在组装困难，容错性低，成本较高，相互干扰的缺点。例如，日本马自达公司研制的行人避撞系统将激光雷达传感器安装在汽车前部，利用发射垂直的激光带来实现路上的行人监测，该系统的探测距离范围是35～60m，根据行人衣服颜色和布料的不同检测到直道上的行人，计算出车辆与行人的距离以及行人行走的方向。但是，其探测范围对车辆的行驶速度和系统灵敏度形成了限制。在我国，西安交通大学人工智能与机器人研究所的Springrobot智能汽车安装了毫米波雷达，SICK激光雷达，GPS和摄像机等传感器。其中，毫米波雷达的扫描角度仅有12°测量距离精度5％，速度精度1％，但该系统只能够实现静止障碍物的检测，而对于更为广泛存在的移动障碍物，该系统则难以准确检测。由此可见，目前国内外对车辆环境的检测都缺乏准确性、可靠性以及易操作性等缺点。
技术实现思路
专利技术目的：本专利技术提供一种基于FPGA的车辆环境感知方法，优化通过FPGA实现的算法，解决目前基于DSP、ARM等嵌入式平台的视觉系统存在的多相机组装困难，并行化程度低，运算效率低的弊端，以及优化智能车中障碍物监测数据准确性以及可靠性低的问题。技术方案：本专利技术对车辆环境检测数据的获取，处理以及传输的研究方法，主要包括以下步骤：步骤1，智能车辆通过相机，捕获环境的图像信息。其中，为保证信息的准确性，智能系统必须正确识别出周围环境的各种交通标志，以及印刷在道路表面的交通信息。对此，本专利技术设计了基于HSV彩色模型的橙黄色车道线算法，步骤2，对图像传感器输出的Baycr格式图像进行滤波、插值，输出完整的RGB图像，然后将RGB图像转换到HSV色彩空间，根据车道线的色彩信息，提取出黄色区域范围内的图像，最后使用OTSU算法，将橙色范围图像中较饱和部分从背景中提取出来。步骤3，根据黄色车道线分割算法研究，设计基于FPGA的分割算法流水线。流水线的设计思路就是将固定的处理流程划分不同的阶段，下一个阶段的输入就是前一个阶段的输出。工作原理：本专利技术通过对车辆环境全方位图像采集，图像数据的高速传输和存储，将多传感器融合的阵列相机系统安装在车辆周围，从不同角度完成图像采集，对图像进行智能化的算法处理，并将处理结果返回给中心控制系统。其中，图像的采集主要是针对黄色车道线的提取算法，该算法能够实现不同条件下车辆环境的检测和感知。该算法的实现主要是通过FPGA，并且对计算流程和实现方式进行了优化。所以，本专利技术能够处理速度要求高，安装空间小的智能车驾驶系统。有益效果：本专利技术为面向智能车辆和结构化道路检测方法，分为边缘检测、基于方向优先级搜索、车道线识别等步骤。充分挖掘车道线的先验信息，弱化了阴影等其他干扰物的影响，在后续的步骤中依次过滤干扰信息，最终实现了车道线的准确定位，基于FPGA的分布式采集系统满足了多电路视频存储缓冲的需求，为图像数据融合提供了更为快速，准确的平台。同时使用流水线的设计方法，将图像处理方法模块整合起来。针对邻域图像处理算法，设计了基于SRAM的窗口缓冲模块，节约了FPGA的寄存器资源以及布线资源。设计了FPGA优化边缘处理导向插值方法的Bayer图像插值算法，使用分阶段插值方法，实现流水线式操作，降低了FPGA的资源消耗幅度。附图说明图1为车道线提取的图像处理流水线图；图2为图像传感器控制采集模块框图；图3为边缘检测效果对比图；图4为窗口设计电路模型；图5时序控制状态机图；具体实施方式本专利技术主要包括以下步骤：步骤1，智能车辆通过相机，捕获环境的图像信息；其中，为保证信息的准确性，智能系统必须正确识别出周围环境的各种交通标志，以及印刷在道路表面的交通信息。步骤2，对图像传感器输出的Baycr格式图像进行滤波、插值，输出完整的RGB图像，然后将RGB图像转换到色彩空间，根据车道线的色彩信息，提取出黄色区域范围内的图像，最后按顺序扫描边缘点，将橙色范围图像中较饱和部分从背景中提取出来。步骤3，根据黄色车道线分割算法研究，设计基于FPGA的分割算法流水线。流水线的设计思路就是将固定的处理流程划分不同的阶段，下一个阶段的输入就是前一个阶段的输出。如图1，该流水线如模块一样运行在每个图像采集子板上，与数据多路复用器同时工作。步骤1其包括以下步骤：步骤1.1，为了便于图像采集系统在车辆中的安装，本专利技术设计了分布式的图像硬件平台，将图像采集处理与数据存储集散功能分开。基于FPGA的CMOS图像传感器接口，实现多种分辨率、不同格式图像数据捕获。相机控制及视频读出电路FPGA逻辑如图2所示，包括配置传感器工作的模式的SCCB总线控制电路；产生传感器驱动XVCLK及同步像素输出PCLK电路；解析，同步，转换视频时序的控制电路。步骤1.2，边缘是图像最基本的特征，代表图像亮度值发生改变的像素集合。在实际中由于车道线经常因积水，路面裂纹该退化，所以采用Canny方法先检测图像中所有的边缘信息，然后通过后续处理，弱化边缘干扰，过滤掉了非车道信息。步骤1.2.1，平滑图像用高斯函数对原始图像f(x,y)进行平滑除燥，得到平滑图像I(x,y)，设二维高斯函数为：其矢量梯度为：为提高算法效率，将上式分解为两个一维滤波器：式中σ为滤波器函数，以控制平滑的宽度。高斯平滑后的输出图像I(x,y)为：步骤1.2.2，计算梯度方向和幅值；在2*2的邻域中通过一阶差，分别计算I(x,y)的梯度方向θ(x,y)和幅值M(x,y)：式中Ix(x,y)和Iy(x,y)分别为水平和垂直方向的梯度。步骤1.3对梯度幅值进行非极大值抑制；为精确定位边缘，只需保留幅值局部变化最大的边缘点，即需要进行非极大值抑制。Cannny算法使用3*3尺寸，包含8个方向的邻域做梯度幅值的差值。将像素点的(x,y)的梯度幅值M(x,y)与该点梯度方向上的两个梯度幅值的差值结果进行比较，若该点的梯度幅值小于梯度方向上的两个相邻像素点的梯度差值结果，则将该点从边缘候选点集中除去。如此循环，直到所有的局部非极大值都被消除。步骤1.4用双阈值方法连接边缘。选取高低两个阈值，对非极大值抑制后的图像分别进行阈值化处理，从而得到一个高阈值检测结果和一个低阈值检测结果。首先在高阈值图像中进行边缘轮廓的连接，当连接到端点时，再从低阈值检测结果的图像中寻找弱边缘点，从而弥补了高阈值分割图像中的边缘间隙，实现边缘轮廓的完整性。边缘检测结果如图3所示，原本实际的道路图像是比较抽象的图，虽然对于人来说看起来更清晰，但其中的特征点和边缘难以使中心控制系统识别。而转化后的图像的点线更加清晰明了，轮廓明显，更加容易识别。步骤2基于方向优先级的搜索方法。根据车本文档来自技高网...

【技术保护点】
1.一种基于FPGA的车辆环境感知方法，其特征在于：包括以下步骤：步骤(1)，智能车辆通过相机，捕获环境的图像信息；步骤(2)，对图像传感器输出的Baycr格式图像进行滤波、插值，输出完整的图像，然后提取出黄色区域范围内的图像，最后使用OTSU算法，将橙色范围图像中较饱和部分从背景中提取出来；步骤(3)，根据黄色车道线分割方法研究，设计基于FPGA的分割算法流水线。

【技术特征摘要】
1.一种基于FPGA的车辆环境感知方法，其特征在于：包括以下步骤：步骤(1)，智能车辆通过相机，捕获环境的图像信息；步骤(2)，对图像传感器输出的Baycr格式图像进行滤波、插值，输出完整的图像，然后提取出黄色区域范围内的图像，最后使用OTSU算法，将橙色范围图像中较饱和部分从背景中提取出来；步骤(3)，根据黄色车道线分割方法研究，设计基于FPGA的分割算法流水线。2.根据权利要求1所述的基于FPGA的车辆环境感知方法，其特征在于：步骤(2)中，对图像传感器输出的Baycr格式图像进行滤波、插值，输出完整的RGB图像，然后将RGB图像转换到HSV色彩空间，根据车道线的色彩信息，提取出黄色区域范围内的图像，最后使用OTSU算法，将橙色范围图像中较饱和部分从背景中提取出来。3.根据权利要求1所述的基于FPGA的车辆环境感知方法，其特征在于：步骤(1)包括以下步骤：步骤(1.1)，采用分布式的图像硬件平台，将图像采集处理与数据存储集散功能分开；步骤(1.2)，先检测图像中所有的边缘信息，然...

【专利技术属性】
技术研发人员：杨平乐，周塔，李书恒，马杰，沈真，王梦霞，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：江苏,32