一种无人靶车雷视融合的主动目标检测与避障方法技术

本发明专利技术公开的无人靶车雷视融合的主动目标检测与避障方法，包括：安装单线激光雷达、单目相机，进行单线激光雷达与单目相机的联合标定；获取单线激光雷达的激光数据、单目相机的视频数据并进行预处理；根据预处理后的激光数据进行激光目标提取得到激光目标集，对预处理的视频数据进行模式识别得到相机目标集；采用相机目标集对激光目标集进行雷达盲区补偿，将激光目标集与相机目标集进行目标融合得到融合目标数据集；基于新的融合目标数据集进行目标跟踪。本发明专利技术通过低成本的单线激光与单目相机，使用相机数据补偿单线激光盲区的融合方案，解决无人靶车的目标检测与避障。解决无人靶车的目标检测与避障。解决无人靶车的目标检测与避障。

【技术实现步骤摘要】
一种无人靶车雷视融合的主动目标检测与避障方法


[0001]本专利技术涉及无人靶车避障
，具体涉及一种无人靶车雷视融合的主动目标检测与避障方法。

技术介绍

[0002]移动射击战术训练是军队常见的训练科目，当前大多数部队会采用无人靶车进行射击训练。然而由于训练场地环境复杂，靶车在行进过程中会有与现场设备与参与人员发生碰撞的风险。
[0003]传统使用摄像头作为目标检测的传感器时，虽然其结构简单、成本低，但是容易受到光照环境和安装角度的影响，尤其是在运动环境中往往对于深度信息的处理存在偏差，导致在避障规划中存在误控的风险。
[0004]相对的在自动驾驶领域热门的多线激光雷达虽然不易受到环境影响，但是其使用成本较高，对比视觉图像来说分辨率低且对部分色段不敏感。对障碍目标不能起到很好的分类识别。例如，在识别行进轨迹上的草丛时，相机可以识别出此处为草丛，此时车辆决策可以正常通过而无需进行避障控制。而激光雷达却由于其分辨率较低，难以对草丛进行分类识别，此时车辆会进入避障规划，从而进行了不必要操作。

技术实现思路

[0005]专利技术目的：本专利技术目的在于针对现有技术的不足，综合从成本，效率和安全性等角度出发，提供一种无人靶车雷视融合的主动目标检测与避障方法，该方法同时使用单线激光雷达与单目相机两种传感器对环境目标进行检测与分类识别，将图像与空间点云数据进行融合处理，使用图像弥补单线激光盲区，以期望提高无人靶车在运动环境下主动目标检测与避障算法的鲁棒性。
[0006]技术方案：本专利技术所述无人靶车雷视融合的主动目标检测与避障方法，包括如下步骤：S1：安装单线激光雷达、单目相机，进行单线激光雷达与单目相机的联合标定；S2：获取单线激光雷达的激光数据并进行预处理，获取单目相机的视频数据并进行预处理；S3：对预处理的激光数据进行激光目标提取获得激光目标集，对预处理的视频数据进行模式识别获取相机目标集；S4：采用相机目标集对激光目标集进行雷达盲区补偿，将激光目标集与相机目标集进行目标融合得到融合目标数据集；S5：基于融合目标数据集，对目标进行跟踪和预测，得到跟踪目标数据集；S6：建立全局地图，采用实时的跟踪目标数据集更新地图，分配目标等级并根据目标等级进行避障决策。
[0007]进一步完善上述技术方案，所述步骤S1包括：
[0008]S101：将单线激光雷达安装在无人靶车顶部保证其扫描范围大于350
°
且无遮挡，将单目相机安装在无人靶车前侧保证其拍摄范围为无人靶车行进方向；
[0009]S102：外部参数标定时，以无人靶车底盘中心坐标系为参考坐标系W，通过安装位置得出单线激光雷达外参数据L(R,t)以及单目相机外参数据C(R,t)，R、t分别代表旋转缩
放矩阵和平移矩阵；
[0010]S103：内部参数标定时，单线激光雷达的标定采用两种规格的标定物体，在单线激光雷达的扫描平面选取移动标定物体，通过解析目标点云数据Cloud
orig
与标定物体的真实位置数据Cloud
calib
，获取偏差补偿矩阵L
c
；通过单目相机的内参标定获取相机内参矩阵C
k
与畸变系数矩阵C
d
；
[0011]S104：联合标定时，采用同一标定物体在单目相机的视场角与单线激光雷达的扫描平面中移动，当标定物体处在单线激光雷达的扫描平面中时，由单目相机的图像坐标以及单目相机在参考坐标系W中的坐标，得出标定物体相对参考坐标系W的坐标，通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换；
[0012][0013]当标定物体不处在单线激光雷达扫描平面中时，将标定物体从单线激光雷达扫描平面F(x,y,z)按照纵向平移D(x,y,z)距离之后，标定物体在图像坐标下相对参考坐标系W的坐标为：[F(x,y,z)
‑
D(x,y,z)]，再通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换。
[0014]进一步地，所述步骤S3中对激光数据进行预处理包括：
[0015]采用迭代最近点算法判断激光数据中前后帧的变化：
[0016][0017]其中，R、t分别代表旋转缩放矩阵与平移矩阵，p
t
对应前一帧激光点云数据，p
s
对应当前帧的激光点云数据；i为激光点云中的激光点的个数；
[0018]所述步骤S3中对视频数据进行预处理包括：
[0019]采用SIFT算子提取视频数据中的图像关键点，通过图像关键点确定特征向量，根据视频数据中前后关键帧的特征向量进行两两比较找出相互匹配的特征点，建立帧间对应关系；
[0020]L(x,y,σ)＝G(x,y,σ)*I(x,y)
[0021][0022]其中，L(x,y,z)为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)卷积运算。
[0023]进一步地，所述步骤S3中提取激光目标包括：采用无监督DBSCAN密度聚类算法，输入：D、预处理后的激光点云数据，ε、半径参数，MinPts、领域密度阈值；输出：激光点云密度簇的集合；基于激光点云密度簇的集合，将目标边界通过主成分分析把包围轮廓计算出来；
[0024]所述步骤S3中提取视觉数据包括：采用YOLOv4
‑
tiny框架，选用提前打标好的靶场图片作为输入，生成的训练模型。
[0025]进一步地，所述步骤S3中基于激光点云密度簇的集合，将目标边界通过主成分分析把包围轮廓计算出来包括：
[0026]对于每一个点云簇，将其中每个点设为P
i
＝＜x
i
,y
i
,z
i
＞，点云看作P1,P2,P3…
P
n
,N个点构成的数据集；
[0027]计算位置平均值：
[0028]构建协方差矩阵：
[0029]协方差矩阵为以下六个元素组成对称矩阵：
[0030][0031][0032][0033]求解协方差矩阵的特征值λ1，λ2，λ3及对应的特征向量ξ1，ξ2，ξ3；
[0034]将每个特征向量进行正交标准化，得到正交矩阵Q=[ε
′
1 ε
′
2 ε
′3]；
[0035]由QCQ
T
得到对角阵
[0036]构建目标的包围轮廓：
[0037][0038][0039][0040]进一步地，所述步骤S4采用相机目标集对激光目标集进行雷达盲区补偿，包括：同时遍历激光目标集与相机目标集，通过每个目标的空间坐标位置、轮廓大小、模式类别构成目标信息矩阵；当存在激光目标集中的某一个目标信息矩阵与相机目标集中的某一个目标信息矩阵的距离小于无人靶车的车速阈值时，判断该对目标为同一目标，其余目标为补偿目标。
[0041]进一步地，步骤S5包括为激光目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人靶车雷视融合的主动目标检测与避障方法，其特征在于，包括如下步骤：S1：安装单线激光雷达、单目相机，进行单线激光雷达与单目相机的联合标定；S2：获取单线激光雷达的激光数据并进行预处理，获取单目相机的视频数据并进行预处理；S3：对预处理的激光数据进行激光目标提取得到激光目标集，对预处理的视频数据进行模式识别得到相机目标集；S4：采用相机目标集对激光目标集进行雷达盲区补偿，将激光目标集与相机目标集进行目标融合得到融合目标数据集；S5：基于融合目标数据集，进行目标的跟踪与预测。2.根据权利要求1所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：所述步骤S1包括：S101：将单线激光雷达安装在无人靶车顶部保证其扫描范围大于350
°
且无遮挡，将单目相机安装在无人靶车前侧保证其拍摄范围为无人靶车行进方向；S102：外部参数标定时，以无人靶车底盘中心坐标系为参考坐标系W，通过安装位置得出单线激光雷达外参数据L(R,t)以及单目相机外参数据C(R,t)，R、t分别代表旋转缩放矩阵和平移矩阵；S103：内部参数标定时，单线激光雷达的标定采用两种规格的标定物体，在单线激光雷达的扫描平面选取移动标定物体，通过解析目标点云数据Cloud
orig
与标定物体的真实位置数据Cloud
calib
，获取偏差补偿矩阵L
c
；通过单目相机的内参标定获取相机内参矩阵C
k
与畸变系数矩阵C
d
；S104：联合标定时，采用同一标定物体在单目相机的视场角与单线激光雷达的扫描平面中移动，当标定物体处在单线激光雷达的扫描平面中时，由单目相机的图像坐标以及单目相机在参考坐标系W中的坐标，得出标定物体相对参考坐标系W的坐标，通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换；当标定物体不处在单线激光雷达扫描平面中时，将标定物体从单线激光雷达扫描平面F(x，y，z)按照纵向平移D(x，y，z)距离之后，标定物体在图像坐标下相对参考坐标系W的坐标为：[F(x，y，z)
‑
D(x，y，z)]，再通过式(1)实现单目相机的图像坐标相对于单线激光雷达的雷达坐标系的转换。3.根据权利要求1所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：所述步骤S3中对激光数据进行预处理包括：采用迭代最近点算法判断激光数据中前后帧的变化：其中，R、t分别代表旋转缩放矩阵与平移矩阵，P
t
对应前一帧激光点云数据，P
s
对应当前帧的激光点云数据；i为激光点云中的激光点的个数；所述步骤S3中对视频数据进行预处理包括：
采用SIFT算子提取视频数据中的图像关键点，通过图像关键点确定特征向量，根据视频数据中前后关键帧的特征向量进行两两比较找出相互匹配的特征点，建立帧间对应关系；L(x，y，σ)＝G(x，y，σ)*I(x，y)其中，L(x，y，z)为原始图像I(x，y)与一个可变尺度的二维高斯函数G(x，y，σ)卷积运算。4.根据权利要求1所述的无人靶车雷视融合的主动目标检测与避障方法，其特征在于：所述步骤S3中提取激光目标包括：采用无监督DBSCAN密度聚类算法，输入：D、预处理后的激光点云数据，ε、半径参数，MinPts、领域密度阈值；输出：激光点云密度簇的集合；基于激光点云密度簇的集合，将目标边界通过主成分分析把包围轮廓计算出来；所述步骤S3中提取视觉数据...

【专利技术属性】
技术研发人员：王晔，王睿，田嘉圆，
申请(专利权)人：北京华如科技股份有限公司，
类型：发明
国别省市：