一种基于多模态信息联觉的车联网波束实时对准方法技术

本发明专利技术公布了一种基于多模态信息联觉的车联网波束实时对准方法，通过设计轨迹预测网络模型，并利用车联网中路侧单元RSU捕获的RGB图像和雷达信号经处理后获得的距离数据以及从控制信道Sub

【技术实现步骤摘要】
一种基于多模态信息联觉的车联网波束实时对准方法


[0001]本专利技术属于无线通信
，涉及车联网的无线通信中的毫米波(millimeter wave,mmWave)波束实时对准技术，具体涉及一种基于多模态感知与信道状态信息(Channel State Information，CSI)联觉(即融合多模态感知与信道状态信息)的车联网毫米波波束实时对准方法，通过应用深度学习的方法对多模态信息特征进行提取与融合，并学习车辆未来位置与多模态信息之间的非线性关系，实现路侧单元(Road Side Unit，RSU)与高速车辆之间稳定、可靠无线通信的车联网毫米波波束实时对准。

技术介绍

[0002]随着汽车工业的飞速发展，车联网作为未来智能交通系统中最重要的组成部分，是实现智慧出行、智慧交通的重要技术之一。同时，随着5G的大规模商用，毫米波因其大带宽、低时延的优势，被视为满足车联网各种高性能通信需求的关键技术。为保证车联网各种应用的通信服务要求，提升车联网无线通信的整体安全性以及用户体验质量，车辆需要保证与无线通信网络的随时高质量的无线连接。在毫米波车联网中针对车辆的高速移动性管理相关的各项技术中，毫米波波束的实时对准是确保车辆稳定连接到通信网络的前提条件。
[0003]如何实现高速车辆与RSU之间的波束对准是车联网中车辆移动性管理的核心技术之一，是确保车辆可以稳定、高质量连接到通信网络的关键保证。实现收发双方之间的毫米波波束实时对准的方式主要有波束训练、波束追踪和波束成形预测。传统上，毫米波收发双方之间窄波束的对准由波束训练完成。波束训练中，发端需要向全域角度发送导频信号进而发现信噪比最强的波束成形方向，确定波束成形角度。然而，这会带来很大的通信开销与时延，使之很难应用于车联网通信中。为改进这一缺陷，毫米波波束追踪技术利用相邻时刻收发双方之间波束角度变化的时间相关性，大大减小了波束训练需要搜索的空间范围，如公告号为CN 112738764 B的专利技术专利提出了基于车辆轨迹认知的宽带毫米波波束追踪方法，利用车辆的运动特性辅助毫米波波束追踪。但波束追踪仍需要在每次建立通信链路前发送导频信号，造成较大的通信开销。波束成形预测技术则通过提前预测车辆未来位置，进而直接以预测角度进行波束成形，具有很低的通信开销以及时延。然而，通过该方式建立的通信链路稳定性以及可实现的通信速率受预测算法精度的影响较大。
[0004]当前，车联网的波束成形预测大多基于扩展卡尔曼滤波算法，由简单的车辆运动状态演化模型以及雷达设备得到的测量值给出，精度较低且应用场景局限。随着智能车辆、RSU上配备的感知设备种类日益增多，性能逐渐增强，多模态感知信息对车联网通信系统的辅助作用逐渐被重视与研究。不同于CSI反映的电磁环境特征，多模态感知信息包含了更细粒度、更广视野的视觉空间特征，具备更好预测车辆未来位置的能力。如何选择合适的方式对车联网中多模态感知信息以及CSI进行车辆位置特征提取与融合，进而辅助对车辆未来的波束成形角度预测是目前研究的重点方向。

技术实现思路

[0005]本专利技术提出了一种基于多模态信息联觉的车联网波束实时对准技术，在保证车联网波束成形角度预测值的高精度的基础上，能更好地应对车辆横向随机微移动行为，实现更稳定的通信链路建立，提高可实现的车联网毫米波通信速率。
[0006]本专利技术中，多模态信息联觉指路端多模态感知信息与CSI融合，利用车联网中路侧单元(Road Side Unit，RSU)捕获的RGB图像、雷达信号处理后获得的距离数据以及控制信道Sub
‑
6 GHz频段上获取的CSI矩阵作为多模态信息输入，通过设计一种包含了不同种类的神经网络组件的轨迹预测网络模型，来对多模态信息进行特征提取与早期融合，提高了对车辆未来位置预测的准确性，进而保证预测出的下一时刻波束成形角度的准确性。此外，在每一预测时刻上将车辆过往轨迹上的多模态信息构造为时间序列形式，再由轨迹预测网络模型进行时序特征提取与学习，进一步提升应对车辆横向随机微移动行为的鲁棒性。
[0007]本专利技术的技术方案如下：
[0008]一种基于多模态信息联觉的车联网波束实时对准方法，通过设计轨迹预测网络模型，并利用车联网中路侧单元RSU捕获的RGB图像和雷达信号经处理后获得的距离数据以及从控制信道Sub
‑
6 GHz频段上获取的CSI矩阵作为多模态信息输入，对多模态信息进行特征提取与早期融合，进而预测出波束成形角度，提高车联网波束实时对准及对车辆未来位置预测的准确性；包括如下步骤：
[0009]1)获取原始多模态数据：在RSU与车辆之间的每一次数据块开始传输之前，即每一个波束成形角度预测时刻上(本专利技术中，将波束成形角度预测的当前时刻定义为以时间块为单位进行周期性预测中的第n个时间块或称第n时隙)，通过感知设备获取交通系统的RGB图像和车辆距离数据，通过通信设备获取控制信道频段的CSI矩阵；CSI矩阵是RSU通过信道估计计算得到。原始多模态数据包括：RGB图像、车辆距离数据和控制信道频段的CSI矩阵。
[0010]具体实施时，在路侧单元RSU上配备多种感知设备(RGB相机、雷达设备)、运行于Sub
‑
6GHz以及mmWave两个频段的通信设备，在车辆上配备运行于Sub
‑
6 GHz以及mmWave两个频段的通信设备，由RGB相机拍摄得到交通系统的RGB图像，由雷达设备获得目标车辆的距离数据，在通信设备的控制信道上通过RSU的信号处理设备获得Sub
‑
6 GHz频段的CSI矩阵；
[0011]2)对步骤1)得到的原始多模态数据进行预处理，得到预处理后的RGB图像、车辆距离矩阵和CSI角域特征矩阵；
[0012]在上步采集的原始多模态数据基础上，数据预处理模块对其进行预处理：对RGB图像进行尺寸缩小与数据标准化，将距离数据构建为矩阵形式，并做数据归一化，对CSI矩阵进行角域特征提取；
[0013]3)构造得到时间序列多模态数据；时间序列多模态数据包括RGB图像，车辆距离矩阵和CSI角域特征矩阵；
[0014]RSU的天线通过接收车辆发送的信号估计得到CSI矩阵之后，每一个波束成形角度预测时刻上RSU的存储单元保存并堆叠当前以及上一预测时刻的多模态感知数据与CSI，以构造时间序列多模态数据；
[0015]4)构建轨迹预测神经网络模型，将时间序列多模态数据输入网络模型，提取得到视觉空间特征、电磁空间特征、时序特征并进行早期融合，预测得到第(n+2)时隙的车辆位
置坐标和运动角度(即波束成形角度)；
[0016]将时间序列多模态数据输入至轨迹预测神经网络中进行视觉空间特征、电磁空间特征、时序特征提取与早期融合，预测得到一个时隙后的车辆位置坐标，进而得到第(n+2)时隙时车辆相对于RSU的角度，即第(n+2)时隙的波束成形角度；
[0017]5)在下一数据块传输中，RSU将步骤4)得到的第(n+2)时隙的波束成形角度传输至车辆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信息联觉的车联网波束实时对准方法，通过设计轨迹预测网络模型，并利用车联网中路侧单元RSU捕获的RGB图像和雷达信号经处理后获得的距离数据以及从控制信道Sub
‑
6 GHz频段上获取的信道状态信息CSI矩阵，作为多模态信息输入轨迹预测网络模型，对多模态信息进行特征提取与早期融合，进而预测出波束成形角度，提高对车辆未来位置预测的准确性，实现车联网波束实时对准；包括如下步骤：1)获取原始多模态数据：在第n时隙，通过感知设备获取交通系统的RGB图像和车辆距离数据，通过通信设备获取控制信道频段的CSI矩阵；所述第n时隙即在RSU与车辆之间的每一次数据块开始传输之前，每一个波束成形角度预测时刻；2)对步骤1)得到的原始多模态数据进行预处理，得到预处理后的RGB图像、车辆距离矩阵和CSI角域特征矩阵；在上步采集的原始多模态数据基础上，数据预处理模块对其进行预处理：对RGB图像进行尺寸缩小与数据标准化，将距离数据构建为矩阵形式，并做数据归一化，对CSI矩阵进行角域特征提取；3)构造得到时间序列多模态数据；时间序列多模态数据包括RGB图像，车辆距离矩阵和CSI角域特征矩阵；4)构建轨迹预测神经网络模型，将时间序列多模态数据以及当前时刻多模态数据输入至轨迹预测神经网络模型，提取得到视觉空间特征、电磁空间特征、时序特征并进行早期融合；预测得到一个时隙后的车辆位置坐标，进而得到第n+2时隙时车辆相对于RSU的角度，即第n+2时隙的波束成形角度；所述轨迹预测神经网络模型包括全连接网络、残差神经网络以及门控循环单元网络结构；5)在下一数据块传输中，RSU通过第n+1时隙的数据块，将步骤4)预测得到的第n+2时隙的波束成形角度传输至车辆，使得车辆提前获知第n+2时隙的波束成形角度，车辆依据此角度进行第n+2时隙的波束成形；6)在第n+2时隙上，RSU与车辆分别通过预先预测得到的波束成形角度进行波束成形与对准，建立毫米波通信链路进行通信；7)在每个预测时刻上，RSU执行上述步骤1)～6)，完成车辆行驶过程中的毫米波波束实时对准，保证车辆到无线通信网络的稳定连接；通过上述步骤，实现基于多模态信息联觉的波束成形预测，通过多模态感知信息与CSI融合，完成车辆行驶过程中的毫米波波束实时对准。2.如权利要求1所述基于多模态信息联觉的车联网波束实时对准方法，其特征是，步骤1)获取原始多模态数据，具体是在RSU上配备多种感知设备和通信设备，在车辆上配备通信设备；多种感知设备包括RGB相机和雷达设备；由RGB相机拍摄得到交通系统的RGB图像，由雷达设备获得目标车辆的距离数据；通信设备运行于Sub
‑
6 GHz以及mmWave两个频段；在通信设备的控制信道上通过RSU的信号处理设备获得Sub
‑
6 GHz频段的CSI矩阵。3.如权利要求1所述基于多模态信息联觉的车联网波束实时对准方法，其特征是，步骤2)对原始多模态数据进行预处理，包括：对RGB图像进行尺寸缩小与数据标准化；将距离数据构建为矩阵形式，并做数据归一化；对CSI矩阵进行角域特征提取。4.如权利要求1所述基于多模态信息联觉的车联网波束实时对准方法，其特征是，步骤
3)构造生成时间序列多模态数据，具体是：在RSU通过接收车辆发送的信号估计得到CSI矩阵之后，每一个波束成形角度预测时刻上RSU的存储单元保存并堆叠当前以及上一预测时刻的多模态感知数据与CSI矩阵，由此构造时间序列多模态数据。5.如权利要求1所述基于多模态信息联觉的车联网波束实时对准方法，其特征是，通过设置波束实时对准装置实现；该装置在RSU上包括感知模块、通信模块、图像预处理模块、角域信息提取模块、轨迹预测神经网络模块；在车辆上包括通信模块。6.如权利要求5所述基于多模态信息联觉的车联网波束实时对准方法，其特征是，利用图像预处理模块对原始RGB图像数据X进行预处理，得到易于提取特征的图像X
P
；包括以下流程S21～S22：S21：将分辨率较高的原始RGB图像进行裁剪操作，得到尺寸减小后的图像X
′
；S22：将X
′
R
,X
′
G
,X
′
B
分别代表得到的图像X
′
的R、G、B三个通道的像素值；三个通道标准化采用的均值与标准差根据轨迹预测网络结构确定；将图像X
′
的三个通道的像素值X
′
R
,X
′
G
,X
′
B
的均值分别记为μ
R
、μ<...

【专利技术属性】
技术研发人员：程翔，张浩天，
申请(专利权)人：北京大学，
类型：发明
国别省市：