一种汽车A柱透视方法技术

本发明专利技术公开了一种汽车A柱透视方法，包括步骤：将获取的驾驶员头部的深度图像和RGB图像配准且进行脸部特征识别，当识别到驾驶员脸部特征时，获取驾驶员脸部重心的三维坐标，当未识别到驾驶员脸部特征时，采用粒子滤波器跟踪驾驶员头部，获取驾驶员头部重心的三维坐标；以驾驶员脸部重心三维坐标作为球面模型的球心，将鱼眼视频流数据校正后生成球面图像且生成透视图像；以驾驶员头部重心三维坐标作为球面模型的球心，将鱼眼视频流数据校正后生成球面图像且生成透视图像；当驾驶员头部移动超出预先设定的范围时，报警模块发出警报。本发明专利技术能够随时以驾驶员视点为中心获取透视图像，有效地避免了驾驶员在行驶过程中遇到的障碍，提高了驾驶安全。

A perspective method of automobile A-pillar

【技术实现步骤摘要】
一种汽车A柱透视方法
本专利技术属于汽车安全
，具体涉及一种汽车A柱透视方法。
技术介绍
汽车A柱作为车身关键承力结构，由于存在强度的要求，使A柱具有一定的宽度，导致汽车在行驶时，A柱的宽度会遮挡驾驶员一部分视线，造成视野盲区，尤其在向驾驶员一侧转弯时，容易发生事故。现有技术中，为了解决以上问题，开始采用汽车盲区透视系统来辅助驾驶员观察路况，例如，申请号为201710047056.6的中国专利技术专利，公开了一种基于深度数据和鱼眼图像的汽车A柱盲区透视方法，在汽车A柱安装深度摄像头和鱼眼摄像头，建立驾驶员与A柱外场景的深度图，将A柱外的场景在显示屏上形成透视图像，克服了呈现在显示屏上的画面缺乏立体真实感的缺陷，但是在识别驾驶员脸部时，识别特征类型单一，未将脸部特征分为全局特征与局部特征分别识别与融合处理，识别的准确率有待提高，并且，在未识别到驾驶员脸部时，缺乏处理措施，在驾驶时，容易造成一定的交通事故，因此，有必要克服上述缺陷，提高驾驶安全。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种汽车A柱透视方法，其通过视觉传感器获取驾驶员头部图像，进行驾驶员脸部特征识别，当检测到驾驶员脸部特征时，获取驾驶员脸部重心的三维坐标和驾驶员脸部平面法线方向；当未检测到驾驶员脸部特征时，采用粒子滤波器跟踪驾驶员头部位置，获取驾驶员头部重心的三维坐标和驾驶员头部平面法线方向；基于获取的驾驶员脸部重心三维坐标或头部重心三维坐标构建球面模型，通过鱼眼相机获取汽车A柱外场景的鱼眼视频流数据且生成球面图像，再将球面图像生成透视图像，能够随时以驾驶员视点为中心获取透视图像，有效地避免了驾驶员在行驶过程中遇到的障碍，设计新颖，使用效果好，便于推广使用。为解决上述技术问题，本专利技术采用的技术方案是：一种汽车A柱透视方法，方法包括步骤：步骤S1、通过视觉传感器获取驾驶员头部的深度图像和RGB图像并传输给图像处理器；步骤S2、图像处理器对驾驶员头部的深度图像和RGB图像进行配准；步骤S3、图像处理器基于配准后的图像，对驾驶员脸部特征进行识别，当识别到驾驶员脸部特征时，获取驾驶员脸部重心的三维坐标和驾驶员脸部平面法线方向，并执行步骤S4；当未识别到驾驶员脸部特征时，采用粒子滤波器跟踪驾驶员头部位置，获取驾驶员头部重心的三维坐标和驾驶员头部平面法线方向，并执行步骤S5；步骤S4、图像处理器以步骤S3中获取的驾驶员脸部重心三维坐标作为球面模型的球心，构建球面模型；通过鱼眼相机获取汽车A柱外场景的鱼眼视频流数据并传输给图像处理器，将获取到的鱼眼视频流数据基于球面模型进行误差校正后生成球面图像；根据驾驶员脸部平面法线方向，将球面图像生成透视图像，执行步骤S6；步骤S5、图像处理器以步骤S3中获取的驾驶员头部重心三维坐标作为球面模型的球心，构建球面模型；通过鱼眼相机获取汽车A柱外场景的鱼眼视频流数据并传输给图像处理器，将获取到的鱼眼视频流数据基于球面模型进行误差校正后生成球面图像；根据驾驶员头部平面法线方向，将球面图像生成透视图像，执行步骤S6；步骤S6、图像处理器将透视图像传输给显示屏进行显示，图像处理器实时检测驾驶员头部移动是否超出预先设定的范围，当驾驶员头部移动超出预先设定的范围时，图像处理器发出信号给报警模块，报警模块发出警报。上述的一种汽车A柱透视方法，在步骤S1之后步骤S2之前，还对深度图像和RGB图像进行高斯滤波处理。上述的一种汽车A柱透视方法，所述视觉传感器为Kinectv2传感器。上述的一种汽车A柱透视方法，步骤S2中所述图像处理器对驾驶员头部的深度图像和RGB图像进行配准时，采用预先存储在图像处理器中的旋转矩阵R′和平移矩阵T′进行配准；所述旋转矩阵R′和平移矩阵T′的获取的过程为：步骤S201、采用棋盘格的方式，通过视觉传感器获取棋盘格的RGB图像并存储在图像处理器中，再获取棋盘格的RGB图像上的角点位置；步骤S202、采用棋盘格的方式，通过视觉传感器获取棋盘格的深度图像并存储在图像处理器中，再获取棋盘格的深度图像上的角点位置，其中，获取棋盘格的深度图像上的角点位置的具体方法为：将棋盘格的深度图像转换为二值图像，在二值图像上手动点击角点且将手动点击的角点位置作为初始角点的位置，基于初始角点的位置，采用最小二乘法获取多条水平方向上的直线和多条竖直方向上的直线，将获取的多条直线作为边缘线的初始值，以每条线为中心线，选择10个像素带宽的白色点区域像素优化初始边缘线，将最优边缘线的交点位置确定为棋盘格的深度图像上的角点位置；步骤S203、将存储的棋盘格的RGB图像上的角点位置和存储的棋盘格的深度图像上的角点位置映射到世界坐标系中，通过旋转和平移使棋盘格的RGB图像上的角点位置和棋盘格的深度图像上的角点位置达到重合状态，计算出旋转矩阵R′和平移矩阵T′。上述的一种汽车A柱透视方法，步骤S3中所述图像处理器基于配准后的图像，对驾驶员脸部特征进行识别的具体过程为：步骤S3A1、驾驶员脸部全局特征的提取：所述图像处理器先对配准后的图像进行Galor变换，再对Gabor变换的输出结果应用Zernike矩的离散形式，提取出驾驶员脸部全局特征；步骤S3A2、驾驶员脸部局部特征的提取：所述图像处理器先对配准后的图像进行高斯滤波，再采用梯度直方图对高斯滤波后的图像进行形状信息描述，并基于相邻图像块的重叠计算去除光照变化和偏移对特征的影响，提取出驾驶员脸部局部特征；步骤S3A3、所述图像处理器将提取的驾驶员脸部全局特征和驾驶员脸部局部特征进行融合，形成驾驶员脸部的融合特征；步骤S3A4、所述图像处理器采用支持向量机分类器对驾驶员脸部融合特征进行二分类，分为是驾驶员脸部特征和非驾驶员脸部特征两类。上述的一种汽车A柱透视方法，步骤S3中所述采用粒子滤波器跟踪驾驶员头部位置，获取驾驶员头部重心的三维坐标和驾驶员头部平面法线方向的具体过程为：S3B1、粒子群初始化：采用M′个粒子的随机集合表示驾驶员头部的状态空间分布，其中，为驾驶员头部在t时刻第m′个粒子的位置和驾驶员头部平面法线方向，m′的取值为1～M′的自然数；粒子的后验概率密度分布bel(Xt)为at-1为驾驶员头部t时刻上一时刻所执行的动作，ot-1为驾驶员头部t时刻上一时刻所获得的观察信息；步骤S3B2、粒子状态更新：根据驾驶员头部上一时刻所执行的动作更新每个粒子的状态，得到新的粒子簇其中，dt-1为驾驶员头部通过执行at-1后得到的位置变化矢量，R2为二维空间；为驾驶员头部在t-1时刻第m′个粒子的位置和驾驶员头部平面法线方向；步骤S3B3、获取观察信息并计算粒子权重值：通过视觉传感器获取观察信息ot来更新驾驶员头部可能位置的粒子的后验概率密度分布bel(Xt)，用Et表示t时刻观察信息和执行的动作带有的噪音误差，根据公式对获得的观察信息ot重新计算每个粒子的权重值步骤S3B4、基于粒子权重值重采样：粒子本文档来自技高网...

【技术保护点】
1.一种汽车A柱透视方法，其特征在于，该方法包括以下步骤：/n步骤S1、通过视觉传感器获取驾驶员头部的深度图像和RGB图像并传输给图像处理器；/n步骤S2、图像处理器对驾驶员头部的深度图像和RGB图像进行配准；/n步骤S3、图像处理器基于配准后的图像，对驾驶员脸部特征进行识别，当识别到驾驶员脸部特征时，获取驾驶员脸部重心的三维坐标和驾驶员脸部平面法线方向，并执行步骤S4；当未识别到驾驶员脸部特征时，采用粒子滤波器跟踪驾驶员头部位置，获取驾驶员头部重心的三维坐标和驾驶员头部平面法线方向，并执行步骤S5；/n步骤S4、图像处理器以步骤S3中获取的驾驶员脸部重心三维坐标作为球面模型的球心，构建球面模型；通过鱼眼相机获取汽车A柱外场景的鱼眼视频流数据并传输给图像处理器，将获取到的鱼眼视频流数据基于球面模型进行误差校正后生成球面图像；根据驾驶员脸部平面法线方向，将球面图像生成透视图像，执行步骤S6；/n步骤S5、图像处理器以步骤S3中获取的驾驶员头部重心三维坐标作为球面模型的球心，构建球面模型；通过鱼眼相机获取汽车A柱外场景的鱼眼视频流数据并传输给图像处理器，将获取到的鱼眼视频流数据基于球面模型进行误差校正后生成球面图像；根据驾驶员头部平面法线方向，将球面图像生成透视图像，执行步骤S6；/n步骤S6、图像处理器将透视图像传输给显示屏进行显示，图像处理器实时检测驾驶员头部移动是否超出预先设定的范围，当驾驶员头部移动超出预先设定的范围时，图像处理器发出信号给报警模块，报警模块发出警报。/n...

【技术特征摘要】
1.一种汽车A柱透视方法，其特征在于，该方法包括以下步骤：
步骤S1、通过视觉传感器获取驾驶员头部的深度图像和RGB图像并传输给图像处理器；
步骤S2、图像处理器对驾驶员头部的深度图像和RGB图像进行配准；
步骤S3、图像处理器基于配准后的图像，对驾驶员脸部特征进行识别，当识别到驾驶员脸部特征时，获取驾驶员脸部重心的三维坐标和驾驶员脸部平面法线方向，并执行步骤S4；当未识别到驾驶员脸部特征时，采用粒子滤波器跟踪驾驶员头部位置，获取驾驶员头部重心的三维坐标和驾驶员头部平面法线方向，并执行步骤S5；
步骤S4、图像处理器以步骤S3中获取的驾驶员脸部重心三维坐标作为球面模型的球心，构建球面模型；通过鱼眼相机获取汽车A柱外场景的鱼眼视频流数据并传输给图像处理器，将获取到的鱼眼视频流数据基于球面模型进行误差校正后生成球面图像；根据驾驶员脸部平面法线方向，将球面图像生成透视图像，执行步骤S6；
步骤S5、图像处理器以步骤S3中获取的驾驶员头部重心三维坐标作为球面模型的球心，构建球面模型；通过鱼眼相机获取汽车A柱外场景的鱼眼视频流数据并传输给图像处理器，将获取到的鱼眼视频流数据基于球面模型进行误差校正后生成球面图像；根据驾驶员头部平面法线方向，将球面图像生成透视图像，执行步骤S6；
步骤S6、图像处理器将透视图像传输给显示屏进行显示，图像处理器实时检测驾驶员头部移动是否超出预先设定的范围，当驾驶员头部移动超出预先设定的范围时，图像处理器发出信号给报警模块，报警模块发出警报。


2.按照权利要求1所述的一种汽车A柱透视方法，其特征在于：在步骤S1之后步骤S2之前，还对深度图像和RGB图像进行高斯滤波处理。


3.按照权利要求1所述的一种汽车A柱透视方法，其特征在于：所述视觉传感器为Kinectv2传感器。


4.按照权利要求1所述的一种汽车A柱透视方法，其特征在于：步骤S2中所述图像处理器对驾驶员头部的深度图像和RGB图像进行配准时，采用预先存储在图像处理器中的旋转矩阵R′和平移矩阵T′进行配准；所述旋转矩阵R′和平移矩阵T′的获取的过程为：
步骤S201、采用棋盘格的方式，通过视觉传感器获取棋盘格的RGB图像并存储在图像处理器中，再获取棋盘格的RGB图像上的角点位置；
步骤S202、采用棋盘格的方式，通过视觉传感器获取棋盘格的深度图像并存储在图像处理器中，再获取棋盘格的深度图像上的角点位置，其中，获取棋盘格的深度图像上的角点位置的具体方法为：将棋盘格的深度图像转换为二值图像，在二值图像上手动点击角点且将手动点击的角点位置作为初始角点的位置，基于初始角点的位置，采用最小二乘法获取多条水平方向上的直线和多条竖直方向上的直线，将获取的多条直线作为边缘线的初始值，以每条线为中心线，选择10个像素带宽的白色点区域像素优化初始边缘线，将最优边缘线的交点位置确定为棋盘格的深度图像上的角点位置；
步骤S203、将存储的棋盘格的RGB图像上的角点位置和存储的棋盘格的深度图像上的角点位置映射到世界坐标系中，通过旋转和平移使棋盘格的RGB图像上的角点位置和棋盘格的深度图像上的角点位置达到重合状态，计算出旋转矩阵R′和平移矩阵T′。


5.按照权利要求1所述的一种汽车A柱透视方法，其特征在于：步骤S3中所述图像处理器基于配准后的图像，对驾驶员脸部特征进行识别的具体过程为：
步骤S3A1、驾驶员脸部全局特征的提取：所述图像处理器先对配准后的图像进行Galor变换，再对Gabor变换的输出结果应用Zernike矩的离散形式，提取出驾驶员脸部全局特征；
步骤S3A2、驾驶员脸部局部特征的提取：所述图像处理器先对配准后的图像进行高斯滤波，再采用梯度直方图对高斯滤波后的图像进行形状信息描述，并基于相邻图像块的重叠计算去除光照变化和偏移对特征的影响，提取出驾驶员脸部局部特征；
步骤S3A3、所述图像处理器将提取的驾驶员脸部全局特征和驾驶员脸部局部特征进行融合，形成驾驶员脸部的融合特征；
步骤S3A4、所述图像处理器采用支持向量机分类器对驾驶员脸部融合特征进行二分类，分为是驾驶员脸部特征和非驾驶员脸部特征两类。


6.按照权利要求1所述的一种汽车A柱透视方法，其特征在于：步骤S3中所述采用粒子滤波器跟踪驾驶员头部位置，获取驾驶员头部重心的三维坐标和驾驶员头部平面法线方向的具体过程为：
S3B1、粒子群初始化：采用M′个粒子的随机集合表示驾驶员头部的状态空间分布，其中，为驾驶员头部在t时刻第m′个粒子的位置和驾驶员头部平面法线方向，m′的取值为1～M′的自然数；粒子的后验概率密度分布bel(Xt)为at-1为驾驶员头部t时刻上一时刻所执行的动作，ot-1为驾驶员头部t时刻上一时刻所获得的观察信息；
步骤S3B2、粒子状态更新：根据驾驶员头部上一时刻所执行的动作更新每个粒子的状态，得到新的粒子簇其中，dt-1为驾驶员头部通过执行at-1后得到的位置变化矢量，R2为二维空间；为驾驶员头部在t-1时刻第m′个粒子的位置和驾驶员头部平面法线方向；
步骤S3B3、获取观察信息并计算粒子权重值：通过视觉传感器获取观察信息ot来更新驾驶员头部可能位置的粒子的后验概率密度分布bel(Xt)，用Et表示t时刻观察信息和执行的动作带有的噪音误差，根据公式对获得的观察信息ot重新计算每个粒子的权重值
步骤S3B4、基于粒子权重值重采样：粒子滤波器根据每个粒子的权重...

【专利技术属性】
技术研发人员：秦学斌，景宁波，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：陕西;61