智能车辆检测系统及其检测方法技术方案

本申请涉及智能车辆的领域，其具体地公开了一种智能车辆检测系统及其检测方法，其通过卷积神经网络模型分别提取被测目标的多个图像和被测目标的检测信号的高维隐含特征分布信息，并且还通过基于上下文的编码器模型对毫米波雷达相对于每个摄像头对应的五元坐标进行高维关联特征提取，这样就能够通过线性投影获得与所述位置特征向量相同长度的图像特征向量，再计算所述图像特征向量与所述位置特征向量之间的方位增益因数以对所述第一特征图和所述第二特征图进行加权，从而得到更为准确的智能车辆与被测目标之间的距离。通过这样的方式，能够提升辅助驾驶系统对于行驶环境中车辆的感知能力。辆的感知能力。辆的感知能力。

【技术实现步骤摘要】
智能车辆检测系统及其检测方法


[0001]本专利技术涉及智能车辆的领域，且更为具体地，涉及一种智能车辆检测系统及其检测方法。

技术介绍

[0002]随着汽车持有量的日益增加，出行安全问题越来越受人关注。智能辅助驾驶系统(ADAS)可为驾驶员实时提供安全预判信息，具有降低交通事故，提升汽车安全性，减少生命财产损失的优点，逐步成为汽车配件开发的热点。
[0003]车辆行驶环境的感知作为辅助驾驶系统的输入，对于系统的预警和决策起着至关重要的作用，对危险目标实现有效的检测是精确预警的前提。
[0004]如今，机器视觉和毫米波雷达为辅助驾驶系统中常用的传感器，两者都具有各自的优势，机器视觉获取环境信息丰富，在目标检测与分类上极具优势，但易受天气影响；毫米波雷达可以准确探测障碍物的距离和速度信息，对环境有较强的适应性，但无法识别障碍物的类型，易受噪声的影响。如何有效的利用两者传感器的信息，国内外学者做了大量研究工作。
[0005]因此，为了提升辅助驾驶系统(ADAS)对于行驶环境中车辆的感知能力，期望一种智能车辆检测系统。

技术实现思路

[0006]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种智能车辆检测系统及其检测方法，其通过卷积神经网络模型分别提取被测目标的多个图像和被测目标的检测信号的高维隐含特征分布信息，并且还通过基于上下文的编码器模型对毫米波雷达相对于每个摄像头对应的五元坐标进行高维关联特征提取，这样就能够通过线性投影获得与所述位置特征向量相同长度的图像特征向量，再计算所述图像特征向量与所述位置特征向量之间的方位增益因数以对所述第一特征图和所述第二特征图进行加权，从而得到更为准确的智能车辆与被测目标之间的距离。通过这样的方式，能够提升辅助驾驶系统对于行驶环境中车辆的感知能力。
[0007]根据本申请的一个方面，提供了一种智能车辆检测系统，其包括：图像数据单元，用于通过部署于智能车辆的用于机器视觉的摄像头获取被测目标的多个图像；第一神经网络单元，用于将所述多个图像分别通过第一卷积神经网络以获得多个第一特征图；毫米波数据单元，用于通过部署于所述智能车辆的毫米波雷达获取所述被测目标的检测信号；第二神经网络单元，用于将所述检测信号的波形图通过第二卷积神经网络以获得第二特征图；位置数据单元，用于以所述毫米波雷达为坐标系原点，获取每个所述摄像头的五元坐标其中，x,y,z为空间坐标，和θ分别表示俯仰角和方位角；位置编码单元，用于将每个所述摄像头的五元坐标通过包含嵌入层的基于上下文的编码器模型
以获得五个特征向量，并将五个所述特征向量进行级联以获得位置特征向量；投影单元，用于对所述第一特征图进行线性投影以获得与所述位置特征向量相同长度的图像特征向量；方位增益因数单元，用于计算所述图像特征向量和每个所述摄像头的位置特征向量之间的方位增益因数，其中，所述方位增益因数基于所述第一特征图和所述第二特征图之间的距离、所述图像特征向量和所述位置特征向量之间的距离和所述摄像头和所述毫米波雷达之间的物理距离确定；加权单元，用于以每个所述方位增益因数作为加权系数对每个所述第一特征图进行加权以获得多个加权第一特征图；融合单元，用于计算所述多个加权第一特征图和所述第二特征图的加权和以获得解码特征图；以及解码单元，用于对所述解码特征图进行解码回归以获得解码值，所述解码值表示智能车辆与被测目标之间的距离。
[0008]在上述智能车辆检测系统中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征图，其中，所述第一卷积神经网络的第一层的输入为所述图像；以及，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第二特征图，其中，所述第二卷积神经网络的第一层的输入为所述检测信号的波形图。
[0009]在上述智能车辆检测系统中，所述位置编码单元，进一步用于：使用所述编码器模型的嵌入层将所述五元坐标的各个坐标元素转化为坐标向量以获得坐标向量的序列；使用所述编码器模型的转换器对所述坐标向量的序列进行处理以获得五个所述特征向量；以及，将五个所述特征向量进行级联以获得所述位置特征向量。
[0010]在上述智能车辆检测系统中，所述投影单元，进一步用于：对所述第一特征图进行沿着宽度维度和高度维度进行线性投影以获得与通道维度相等的通道特征向量；以及，对所述通道特征向量进行线性变换以获得所述图像特征向量。
[0011]在上述智能车辆检测系统中，所述方位增益因数单元，进一步用于以如下公式计算所述图像特征向量和每个所述摄像头的位置特征向量之间的方位增益因数；其中，所述公式为：
[0012][0013]其中v
L
是位置特征向量，v
i
是图像特征向量，||
·
||代表欧式距离，d0代表摄像头与毫米波雷达之间的物理距离，且d
f
代表第一特征图与第二特征图之间的距离。
[0014]在上述智能车辆检测系统中，d
f
表示所述第一特征图和所述第二特征图之间的余弦距离。
[0015]在上述智能车辆检测系统中，所述解码单元，进一步用于：以如下公式对所述解码特征图进行解码回归以获得所述解码值，其中，所述公式为：特征图进行解码回归以获得所述解码值，其中，所述公式为：其中X是解码特征图，Y是解码值，W是权重张量，表示矩阵乘。
[0016]根据本申请的另一方面，一种智能车辆检测系统的检测方法，其包括：通过部署于智能车辆的用于机器视觉的摄像头获取被测目标的多个图像；将所述多个图像分别通过第一卷积神经网络以获得多个第一特征图；通过部署于所述智能车辆的毫米波雷达获取所述被测目标的检测信号；将所述检测信号的波形图通过第二卷积神经网络以获得第二特征
图；以所述毫米波雷达为坐标系原点，获取每个所述摄像头的五元坐标其中，x,y,z为空间坐标，和θ分别表示俯仰角和方位角；将每个所述摄像头的五元坐标通过包含嵌入层的基于上下文的编码器模型以获得五个特征向量，并将五个所述特征向量进行级联以获得位置特征向量；对所述第一特征图进行线性投影以获得与所述位置特征向量相同长度的图像特征向量；计算所述图像特征向量和每个所述摄像头的位置特征向量之间的方位增益因数，其中，所述方位增益因数基于所述第一特征图和所述第二特征图之间的距离、所述图像特征向量和所述位置特征向量之间的距离和所述摄像头和所述毫米波雷达之间的物理距离确定；以每个所述方位增益因数作为加权系数对每个所述第一特征图进行加权以获得多个加权第一特征图；计算所述多个加权第一特征图和所述第二特征图的加权和以获得解码特征图；以及对所述解码特征图进行解码回归以获得解码值，所述解码值表示智能车辆与被测目标之间的距离。
[0017]在上述智能车辆检测系统的检测方法中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能车辆检测系统，其特征在于，包括：图像数据单元，用于通过部署于智能车辆的用于机器视觉的摄像头获取被测目标的多个图像；第一神经网络单元，用于将所述多个图像分别通过第一卷积神经网络以获得多个第一特征图；毫米波数据单元，用于通过部署于所述智能车辆的毫米波雷达获取所述被测目标的检测信号；第二神经网络单元，用于将所述检测信号的波形图通过第二卷积神经网络以获得第二特征图；位置数据单元，用于以所述毫米波雷达为坐标系原点，获取每个所述摄像头的五元坐标其中，x,y,z为空间坐标，和θ分别表示俯仰角和方位角；位置编码单元，用于将每个所述摄像头的五元坐标通过包含嵌入层的基于上下文的编码器模型以获得五个特征向量，并将五个所述特征向量进行级联以获得位置特征向量；投影单元，用于对所述第一特征图进行线性投影以获得与所述位置特征向量相同长度的图像特征向量；方位增益因数单元，用于计算所述图像特征向量和每个所述摄像头的位置特征向量之间的方位增益因数，其中，所述方位增益因数基于所述第一特征图和所述第二特征图之间的距离、所述图像特征向量和所述位置特征向量之间的距离和所述摄像头和所述毫米波雷达之间的物理距离确定；加权单元，用于以每个所述方位增益因数作为加权系数对每个所述第一特征图进行加权以获得多个加权第一特征图；融合单元，用于计算所述多个加权第一特征图和所述第二特征图的加权和以获得解码特征图；以及解码单元，用于对所述解码特征图进行解码回归以获得解码值，所述解码值表示智能车辆与被测目标之间的距离。2.根据权利要求1所述的智能车辆检测系统，其中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征图，其中，所述第一卷积神经网络的第一层的输入为所述图像；以及，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第二特征图，其中，所述第二卷积神经网络的第一层的输入为所述检测信号的波形图。3.根据权利要求2所述的智能车辆检测系统，其中，所述位置编码单元进一步用于：使用所述编码器模型的嵌入层将所述五元坐标的各个坐标元素转化为坐标向量以获得坐标向量的序列；使用所述编码器模型的转换器对所述坐标向量的序列进行处理以获得五个所述特征向量；以及，将五个所述特征向量进行级联以获得所述位置特征向量。4.根据权利要求3所述的智能车辆检测系统，其中，所述投影单元进一步用于：对所述第一特征图进行沿着宽度维度和高度维度进行线性投影以获得与通道维度相等的通道特征向量；以及，对所述通道特征向量进行线性变换以获得所述图像特征向量。5.根据权利要求4所述的智能车辆检测系统，其中，所述方位增益因数单元，进一步用于以如下公式计算所述图像特征向量和每个所述摄像头的位置特征向量之间的方位增益因数；其中，所述公式为：其中v
L
是位置特征向量，v
i
是图...

【专利技术属性】
技术研发人员：陈杨，
申请(专利权)人：杭州隽睿信息科技有限公司，
类型：发明
国别省市：