相机与毫米波雷达数据的同步采集装置、方法及存储介质制造方法及图纸

本发明专利技术涉及数据采集领域，具体地说是一种相机与毫米波雷达数据的同步采集装置、方法及存储介质，通过文字识别网络识别相机画面中的秒级时间码，根据两帧之间的时间间隔测定出毫秒级的时间戳，然后利用时间同步方法将两个传感器的数据进行同步，得到同一时刻的相机与毫米波雷达数据对，解决了现有技术中存在的相机与毫米波雷达数据同步难度大的技术问题，该发明专利技术无需其他辅助物，达到了以较低的成本实现的高精度数据同步的效果，扩大了适用范围。扩大了适用范围。扩大了适用范围。

【技术实现步骤摘要】
相机与毫米波雷达数据的同步采集装置、方法及存储介质


[0001]本专利技术涉及数据采集领域，具体地说是一种相机与毫米波雷达数据的同步采集装置、方法及存储介质。

技术介绍

[0002]随着时代的发展，传感器技术的进步，机器人搭载了越来越多的传感器，通过不同的传感器来获取不同的信息，机器人对环境的感知能力也在逐渐提高，但是传统的单传感器获取的信息单一，不足以支持机器人去处理更加复杂的事情，所以，多传感器融合成了如今主流的趋势。
[0003]毫米波雷达和视觉图像是自动驾驶中获取环境信息的两大主要手段。虽然视觉图像在提供大量细节信息方面具有优势，但其性能可能会在恶劣的天气条件和低照度下产生影响。此外，帧间速度估计技术的鲁棒性是有问题的，尤其是当涉及距离速度向量时，即垂直于图像平面的速度向量。另一方面，毫米波雷达检测结果自带距离速度信息，不受天气或照明干扰。因此，将毫米波雷达数据合并到相机图像中的融合方案在自动驾驶应用中至关重要。
[0004]目前，相机输出RTSP流，但是没有附带RTCP流，也就无法使用SR packets来得到每一帧的时间戳。相机RTSP流的输出存在延迟，且不可忽略，其实时性远不如毫米波雷达报文，无法直接使用接收到的时间作为其帧生成时间，而后续融合时又需要两个传感器的数据进行时间同步。

技术实现思路

[0005]为了弥补现有技术的不足，本专利技术提供了一种相机与毫米波雷达数据的同步采集装置、方法及存储介质，以解决现有技术中相机与毫米波雷达数据同步难度大的问题。
[0006]本专利技术解决上述技术问题，本专利技术提出一种相机与毫米波雷达数据的同步采集装置，所述相机与毫米波雷达数据的同步采集装置包括相机、毫米波雷达、NTP时间同步服务器、数据处理装置及交换机；其中：
[0007]所述相机，用于采集图像数据；
[0008]所述毫米波雷达，用于采集可探测范围内的物体的位置与速度信息；
[0009]所述NTP时间同步服务器，用于相机和毫米波雷达两者内部时钟的时间同步；
[0010]所述数据处理装置，用于读取相机拍摄的图像数据和毫米波雷达采集的数据，并进行数据同步与后续处理；
[0011]所述交换机，用于各设备之间的数据通信。
[0012]优选地，所述相机为网络相机，能够输出RTSP码流，画面中有OSD形式的字符叠加显示，其上存在秒级的时间码；
[0013]所述数据处理装置，通过时间同步的方式获取相机与毫米波雷达的同步数据。
[0014]本专利技术还提出一种相机与毫米波雷达数据的同步采集方法，所述相机与毫米波雷
达数据的同步采集方法包括以下步骤：
[0015]所述相机采集图像数据；
[0016]所述毫米波雷达采集可探测范围内的物体的位置与速度信息；
[0017]所述NTP时间同步服务器为相机和毫米波雷达提供两者内部时钟的时间同步；
[0018]所述数据处理装置读取相机拍摄的图像数据和毫米波雷达采集的数据，并进行数据同步与后续处理；
[0019]所述交换机为各设备提供数据通信。
[0020]优选地，所述相机为网络相机，能够输出RTSP码流，画面中有OSD形式的字符叠加显示，其上存在秒级的时间码；
[0021]所述数据处理装置通过时间同步的方法获取相机与毫米波雷达的同步数据。
[0022]优选地，所述相机与毫米波雷达数据的同步采集方法还包括以下步骤：
[0023]S1:安装相机、毫米波雷达、NTP时间同步服务器、数据处理装置和交换机；
[0024]S2:同时打开相机和毫米波雷达的驱动程序，采集两者的数据；
[0025]S3:识别相机采集到的图像画面中的时间码(精确到秒)；
[0026]S4:根据相机的帧率，推算出时间戳(精确到毫秒)；
[0027]S5:将两者的数据进行同步。
[0028]进一步地，所述S1具体为：
[0029]S1.1:安装相机、毫米波雷达、NTP时间同步服务器、数据处理装置和交换机，其相对位置关系没有特殊要求；
[0030]S1.2:使用网络将相机、毫米波雷达、NTP时间同步服务器、数据处理装置与交换机相连，进行数据的传输。
[0031]进一步地，所述S2具体为：
[0032]S2.1:同时打开相机和毫米波雷达的驱动程序，采集两者的数据；
[0033]优选地，所述相机能够按帧输出图像数据，毫米波雷达能够按帧输出位置与速度数据；
[0034]所述数据处理装置能够同时获取相机与毫米波雷达数据；
[0035]所述相机输出的图像画面中一直存在时间码(精确到秒)叠加显示。
[0036]进一步地，所述S3具体为：
[0037]S3.1:初始化参数，确定时间码所在的感兴趣区域ROI的坐标位置；
[0038]S3.2:识别相机帧图像上ROI位置的时间码文字，具体如：
[0039]先预处理帧图像，将其转换成灰度图，再使用最近邻插值的方法缩放图像，将图像缩放到文字识别网络所需的尺寸，并将图像格式转换成指定格式，最后归一化图像，将其送入网络中；
[0040]其中，图像格式从H*W*C转换为1*C*H*W，H表示图像的高度，W表示图像的宽度，C表示图像的通道数；
[0041]同时，通过轻量的卷积神经网络(CNN)从图像中提取特征，并使用连接主义时间分类(CTC)的方式，从特征得到对字典内字符的概率分布，经过变换求取最大概率下的字符输出，即文字识别结果，然后对图像进行后处理，重组数据的输出格式，返回字符串形式的时间戳(精确到秒)；
[0042]S3.3:如果返回的当前帧时间戳(精确到秒)的识别结果不为空，则进行下一步。
[0043]进一步地，所述S4具体为：
[0044]S4.1:如果当前帧时间戳(精确到秒)不等于前帧时间戳(精确到秒)，则进行下一步；否则，输出的时间戳(精确到毫秒)等于估计时间戳(精确到毫秒)；
[0045]S4.2:如果前帧时间戳(精确到秒)不为空，且当前帧时间戳(精确到秒)小于前帧时间戳(精确到秒)，则输出时间戳(精确到毫秒)等于估计时间戳(精确到毫秒)；否则，进行下一步；
[0046]S4.3:如果前帧时间戳(精确到秒)不为空，且当前帧时间戳(精确到秒)与前帧时间戳(精确到秒)差值大于阈值，则输出时间戳(精确到毫秒)等于估计时间戳(精确到毫秒)；否则，进行下一步；
[0047]S4.4:定义输出的时间戳(精确到毫秒)等于当前帧时间戳(精确到秒)，前帧时间戳(精确到秒)等于当前帧时间戳(精确到秒)，同时，前帧真实时间戳(精确到毫秒)等于当前帧真实时间戳(精确到毫秒)；
[0048]S4.5:估计时间戳(精确到毫秒)满足以下关系：
[0049]t
est
＝t
pre
+Δt
[0050]其中，t
est
表示估计时间戳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机与毫米波雷达数据的同步采集装置，其特征在于，所述相机与毫米波雷达数据的同步采集装置包括相机、毫米波雷达、NTP时间同步服务器、数据处理装置及交换机；其中，所述相机，用于采集图像数据；所述毫米波雷达，用于采集可探测范围内的物体位置信息；所述NTP时间同步服务器，用于相机和毫米波雷达两者内部时钟的时间同步；所述数据处理装置，用于读取相机拍摄的图像数据和毫米波雷达采集的数据，并进行数据同步与后续处理；所述交换机，用于各设备之间的数据通信。2.根据权利要求书1所述的相机与毫米波雷达数据的同步采集装置，其特征在于，所述相机为网络相机，画面中有OSD形式的字符叠加显示，其上存在秒级的时间码；所述数据处理装置，通过时间同步的方式获取相机与毫米波雷达的同步数据。3.一种相机与毫米波雷达数据的同步采集方法，其特征在于，所述相机与毫米波雷达数据的同步采集方法包括以下步骤：所述相机采集图像数据；所述毫米波雷达采集可探测范围内的物体位置信息；所述NTP时间同步服务器为相机和毫米波雷达提供两者内部时钟的时间同步；所述数据处理装置读取相机拍摄的图像数据和毫米波雷达采集的数据，并进行数据同步与后续处理；所述交换机为各设备提供数据通信。4.根据权利要求书3所述的相机与毫米波雷达数据的同步采集方法，其特征在于，所述相机为网络相机，画面中有OSD形式的字符叠加显示，其上存在秒级的时间码；所述数据处理装置通过时间同步的方式获取相机与毫米波雷达的同步数据。5.根据权利要求书3所述的相机与毫米波雷达数据的同步采集方法，其特征在于，所述相机与毫米波雷达数据的同步采集方法还包括以下步骤：S1:安装相机、毫米波雷达、NTP时间同步服务器、数据处理装置和交换机；S2:同时打开相机和毫米波雷达的驱动程序，采集两者的数据；S3:识别相机采集到的图像画面中的时间码；S4:根据相机的帧率，推算出时间戳(精确到毫秒)；S5:将两者的数据进行同步。6.根据权利要求书5所述的相机与毫米波雷达数据的同步采集方法，其特征在于，所述S1具体为：S1.1:安装相机、毫米波雷达、NTP时间同步服务器、数据处理装置和交换机，其相对位置关系没有特殊要求；S1.2:使用网线将相机、毫米波雷达、NTP时间同步服务器、数据处理装置与交换机相连，进行数据的传输。7.根据权利要求书5所述的相机与毫米波雷达数据的同步采集方法，其特征在于，所述S2具体为：S2.1:同时打开相机和毫米波雷达的驱动程序，采集两者的数据，其中：
所述相机能够按帧输出图像数据，毫米波雷达能够按帧输出位置与速度数据；所述数据处理装置能够同时获取相机与毫米波雷达数据；所述相机输出的图像画面中一直存在时间码(精确到秒)。8.根据权利要求书5所述的相机与毫米波雷达数据的同步采集方法，其特征在于，所述S3具体为：S3.1:初始化参数，确定时间码(精确到秒)所在的感兴趣区域ROI的坐标位置；S3.2:识别相机帧图像上ROI位置的时间码文字，具体如下：先预处理帧图像，将其转换成灰度图，再使用最近邻插值的方...

【专利技术属性】
技术研发人员：郑艺扬，陈宁，王益维，林益锋，陆启荣，王加义，
申请(专利权)人：浙江高信技术股份有限公司，
类型：发明
国别省市：