一种基于视频数据与雷达数据的对象检测方法与终端技术

本发明专利技术公开一种基于视频数据与雷达数据的对象检测方法及终端，获取视频数据和对应的雷达数据；对视频数据的每帧图像进行图像分析，得到每帧图像对应的视频目标数据；基于雷达数据分别获取每帧图像对应的视频目标数据所对应的雷达目标数据，并对每帧图像对应的视频目标数据和雷达目标数据分别进行匹配计算，得到多个匹配结果；基于多个匹配结果确定目标对象，确定目标对象的数据类型，并根据数据类型从视频目标数据和/或雷达目标数据中确定出目标对象的对象信息，通过进行两种目标的位置匹配度的多次计算，确保最终得到的目标对象的准确率更高，提高了视频目标和毫米波雷达目标融合的可靠性，从而有效提高对象检测的精确率。率。率。

【技术实现步骤摘要】
一种基于视频数据与雷达数据的对象检测方法与终端


[0001]本专利技术涉及对目标检测
，尤其涉及一种基于视频数据与雷达数据的对象检测方法与终端。

技术介绍

[0002]随着计算机视觉技术的发展，计算机视觉技术开始在各行各业广泛应用，尤其是在交通监测领域，计算机视觉技术对于各类交通事件的检测上颇有成效，但是，对各类交通事件的检测精准率要求也逐渐提高。传统的视频检测，虽然在白天光照环境良好的情况下能达到不错的交通事件检测效果，但对于车辆的速度无法做到精确判断，而超速恰恰是引起事故的主要因素之一，并且在夜间或者雨雾天等视线不佳，驾驶环境欠佳的情况下，视频检测的精确度也会下降。

技术实现思路

[0003]本专利技术所要解决的技术问题是：提供一种基于视频数据与雷达数据的对象检测方法与终端，能够有效提高对象检测的精确率。
[0004]为了解决上述技术问题，本专利技术采用的一种技术方案为：
[0005]一种基于视频数据与雷达数据的对象检测方法，包括步骤：
[0006]获取预设时长的视频数据和对应的雷达数据；
[0007]对所述视频数据的每帧图像进行图像分析，得到每帧图像对应的视频目标数据；
[0008]基于所述雷达数据分别获取所述每帧图像对应的视频目标数据所对应的雷达目标数据，并对所述每帧图像对应的视频目标数据和雷达目标数据分别进行匹配计算，得到多个匹配结果；
[0009]基于所述多个匹配结果确定目标对象，确定所述目标对象的数据类型，并根据所述数据类型从所述视频目标数据和/或所述雷达目标数据中确定出所述目标对象的对象信息。
[0010]为了解决上述技术问题，本专利技术采用的另一种技术方案为：
[0011]一种基于视频数据与雷达数据的对象检测终端，包括存储器、处理器、存储在存储器上并可在所述处理器上运行的计算机程序、图像采集模块和雷达模块，所述处理器执行所述计算机程序时实现以下步骤：
[0012]获取预设时长的视频数据和对应的雷达数据；
[0013]对所述视频数据的每帧图像进行图像分析，得到每帧图像对应的视频目标数据；
[0014]基于所述雷达数据分别获取所述每帧图像对应的视频目标数据所对应的雷达目标数据，并对所述每帧图像对应的视频目标数据和雷达目标数据分别进行匹配计算，得到多个匹配结果；
[0015]基于所述多个匹配结果确定目标对象，确定所述目标对象的数据类型，并根据所述数据类型从所述视频目标数据和/或所述雷达目标数据中确定出所述目标对象的对象信
息。
[0016]本专利技术的有益效果在于：对每帧图像对应的视频目标数据与雷达目标数据的位置匹配度分别进行计算，得到多个匹配结果，基于多个匹配结果确定目标对象，确定目标对象的数据类型，并根据数据类型从视频目标数据和/或雷达目标数据中确定出目标对象的对象信息，通过进行两种目标的位置匹配度的多次计算，确保最终融合的目标对象的准确率更高，提高了视频目标和毫米波雷达目标融合的可靠性，从而有效提高对象检测的精确率。
附图说明
[0017]图1为本专利技术实施例的一种基于视频数据与雷达数据的对象检测方法的步骤流程图；
[0018]图2为本专利技术实施例的一种基于视频数据与雷达数据的对象检测终端的结构示意图；
[0019]图3为本专利技术实施例的一种基于视频数据与雷达数据的对象检测方法的透视映射算法示意图。
具体实施方式
[0020]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0021]请参照图1，本专利技术实施例提供了一种基于视频数据与雷达数据的对象检测方法，包括步骤：
[0022]获取预设时长的视频数据和对应的雷达数据；
[0023]对所述视频数据的每帧图像进行图像分析，得到每帧图像对应的视频目标数据；
[0024]基于所述雷达数据分别获取所述每帧图像对应的视频目标数据所对应的雷达目标数据，并对所述每帧图像对应的视频目标数据和雷达目标数据分别进行匹配计算，得到多个匹配结果；
[0025]基于所述多个匹配结果确定目标对象，确定所述目标对象的数据类型，并根据所述数据类型从所述视频目标数据和/或所述雷达目标数据中确定出所述目标对象的对象信息。
[0026]从上述描述可知，本专利技术的有益效果在于：对每帧图像对应的视频目标数据与雷达目标数据的位置匹配度分别进行计算，得到多个匹配结果，基于多个匹配结果确定目标对象，确定目标对象的数据类型，并根据数据类型从视频目标数据和/或雷达目标数据中确定出目标对象的对象信息，通过进行两种目标的位置匹配度的多次计算，确保最终融合的目标对象的准确率更高，提高了视频目标和毫米波雷达目标融合的可靠性，从而有效提高对象检测的精确率。
[0027]进一步地，所述雷达数据包括雷达目标的坐标信息、移动速度和实际距离；
[0028]所述基于所述雷达数据分别获取所述每帧图像对应的视频目标数据所对应的雷达目标数据包括：
[0029]使用透视映射算法将所述雷达目标的坐标信息映射至视频坐标平面参考系中，得到映射后的雷达目标的坐标信息；
[0030]根据所述映射后的雷达目标的坐标信息、所述移动速度和所述实际距离得到雷达目标数据。
[0031]由上述描述可知，使用透视映射算法将雷达目标的坐标信息映射至视频坐标平面参考系中，以此时的视频目标和雷达目标的位置处于同一平面上，便于后续计算两种目标的位置匹配度。
[0032]进一步地，所述对所述每帧图像对应的视频目标数据和雷达目标数据分别进行匹配计算，得到多个匹配结果包括：
[0033]确定所述每帧图像对应的视频目标数据对应的第一目标矩形框以及所述雷达目标数据对应的第二目标矩形框；
[0034]使用完全交并比算法计算所述第一目标矩形框与所述第二目标矩形框的位置匹配度，得到多个匹配结果。
[0035]由上述描述可知，完全交并比算法可以将两个矩阵框的距离、重叠率以及尺度都考虑进去，从而使得最终的匹配结果更加合理，且使计算两种目标位置的匹配度更精准，通过多次计算位置匹配度，从而提高了对象检测的可靠性。
[0036]进一步地，所述使用完全交并比算法计算所述第一目标矩形框与所述第二目标矩形框的位置匹配度CIoU具体为：
[0037][0038]其中，
[0039][0040][0041]式中，IoU表示所述第一目标矩形框与所述第二目标矩形框的交并比，ρ2(b,b
r
)表示所述第一目标矩形框与所述第二目标矩形框的欧式距离，c表示同时包含所述第一目标矩形框与所述第二目标矩形框的最小闭包区域的对角线距离，α表示用于平衡比例的参数，γ表示衡量所述第一目标矩形框和所述第二目标矩形框的宽和高之间的比例一致性，A表示所述第一目标矩形框，B表示所述第二目标矩形框，k表示度量长宽比的相似性，w
r
表示所述第二目标矩形框的宽度，h
r
表示所述第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频数据与雷达数据的对象检测方法，其特征在于，包括步骤：获取视频数据和对应的雷达数据；对所述视频数据的每帧图像进行图像分析，得到每帧图像对应的视频目标数据；基于所述雷达数据分别获取所述每帧图像对应的视频目标数据所对应的雷达目标数据，并对所述每帧图像对应的视频目标数据和雷达目标数据分别进行匹配计算，得到多个匹配结果；基于所述多个匹配结果确定目标对象，确定所述目标对象的数据类型，并根据所述数据类型从所述视频目标数据和/或所述雷达目标数据中确定出所述目标对象的对象信息。2.根据权利要求1所述的一种基于视频数据与雷达数据的对象检测方法，其特征在于，所述雷达数据包括雷达目标的坐标信息、移动速度和实际距离；所述基于所述雷达数据分别获取所述每帧图像对应的视频目标数据所对应的雷达目标数据包括：使用透视映射算法将所述雷达目标的坐标信息映射至视频坐标平面参考系中，得到映射后的雷达目标的坐标信息；根据所述映射后的雷达目标的坐标信息、所述移动速度和所述实际距离得到雷达目标数据。3.根据权利要求1所述的一种基于视频数据与雷达数据的对象检测方法，其特征在于，所述对所述每帧图像对应的视频目标数据和雷达目标数据分别进行匹配计算，得到多个匹配结果包括：确定所述每帧图像对应的视频目标数据对应的第一目标矩形框以及所述雷达目标数据对应的第二目标矩形框；使用完全交并比算法计算所述第一目标矩形框与所述第二目标矩形框的位置匹配度，得到多个匹配结果。4.根据权利要求3所述的一种基于视频数据与雷达数据的对象检测方法，其特征在于，所述使用完全交并比算法计算所述第一目标矩形框与所述第二目标矩形框的位置匹配度CIoU具体为：其中，其中，其中，式中，IoU表示所述第一目标矩形框与所述第二目标矩形框的交并比，ρ2(b,b
r
)表示所述第一目标矩形框与所述第二目标矩形框的欧式距离，c表示同时包含所述第一目标矩形框与所述第二目标矩形框的最小闭包区域的对角线距离，α表示用于平衡比例的参数，γ表示衡量所述第一目标矩形框和所述第二目标矩形框的宽和高之间的比例一致性，A表示所述第一目标矩形框，B表示所述第二目标矩形框，k表示度量长宽比的相似性，w
r
表示所述第二目标矩形框的宽度，h
r
表示所述第二目标矩形框的高度，w表示所述第一目标矩形框的宽
度，h表示所述第一目标矩形框的高度。5.根据权利要求1所述的一种基于视频数据与雷达数据的对象检测方法，其特征在于，所述数据类型包括视频雷达融合目标、纯视频目标和纯雷达目标；所述根据所述数据类型从所述视频目标数据和/或所述雷达目标数据中确定出所述目标对象的对象信息包括：若所述数据类型为所述视频雷达融合目标，则基于所述视频目标数据和所述雷达目标数据共同确定所述目标对象的对象信息；若所述数据类型为所述纯视频目标，则根据所述视频目标数据确定所述目标对象的对象信息；若所述数据类型为所述纯雷达目标，则根据所述雷达目标数据确定所述目标对象的对象信息。6.根据权利要求5所述的一种基于视频数据与雷达数据的对...

【专利技术属性】
技术研发人员：吴荣琛，张宇，李文蒙，杨伟强，刘东剑，梁浩，
申请(专利权)人：深圳金三立视频科技股份有限公司，
类型：发明
国别省市：