【技术实现步骤摘要】
本专利技术属于无线通信，涉及无线通信系统物理层任务处理技术，具体涉及一种基于预训练大语言模型的无线通信系统物理层多任务处理解决方法。
技术介绍
1、随着车联网场景的普及，通信需求的数量和密度逐渐增加。这对第五代通信系统(5g)的速率和稳定性提出了巨大的挑战。这种挑战影响了通信设计的各个层面。在网络层面，需要更高效的拥塞控制和流量管理策略来应对动态负载；在物理传输层面，由于精确的信道状态信息(channel state information，csi)是后续预编码、功率分配、调制选择和发射天线选择等操作正常运行的前提，随着大规模多输入多输出(massive multiple-inputmultiple-output，mmimo)技术的引入，天线数量大幅增加，导致csi估计的导频资源开销增大，同时高移速所带来的信道老化问题也加剧了这一现象，导致系统频谱效率的降低；这些挑战都需要设计合适的方案进行解决。
2、由于这些问题的优化目标不同，传统的方案都分别专注于单一的任务优化或单一的模块优化，例如对于基于导频的信道估计任务，很多方法选用了生成式人工智能(generative artificial intelligence，gai)作为工具来实现更高精度的信道估计，因为gai强大的生成能力与信道估计的任务需求相契合；而在信道预测任务中，大部分方法都利用了循环神经网络(recurrent neural network，rnn)，由于其在处理时序任务上的优异表现；但是在一个系统中为每个模块单独设计优化方法会让设计流程十分复杂，而且由
3、多任务学习的方法可以将多个通信任务进行联合训练并获取任务间的通用表征进而获得更优的模型表现，同时也降低了训练流程的复杂度。因此一些工作考虑了无线信号识别的两个关键任务，无线信号分类与调制方式识别并利用底层共享的多任务学习网络进行联合训练；也有工作考虑了智能反射面(reconfigurable intelligent surface，ris)系统中直连信道(direct channel，dc)和级联信道(cascaded channel，cc)估计的联合训练与推理，通过联合学习两个任务，使用一个网络即可同时获取dc和cc，降低了实际系统中的导频的开销；但是这些方法也有很明显的缺点，基于底层共享的多任务学习方法很容易出现数据不平衡和跷跷板现象，同时由于模型的规模较小，很难提高学习任务的种类和范围，也就是现有的方法大多只联合了两个强相关的通信任务进行训练，而针对于更多的通信任务或者相关性不明显的通信任务如何联合训练仍待解决。
4、大语言模型(large language model，llm)是新兴的多任务学习者，与传统的深度学习方法不同，大模型在各个领域如自然语言处理、医疗、法律、金融等领域都表现出了惊人的推理能力和泛化表现。gpt系列模型作为最早出现的语言大模型，在各个自然语言处理任务中都表现出了良好的性能。在计算机视觉领域也出现了beit等大模型在目标检测，语义分割，视觉问答等多项任务中取得最佳性能。虽然已经有工作尝试将预训练的llm通过微调应用到信道预测任务，但这种方式仅适合于单个任务，并没有充分挖掘llm的多任务特性。因此，将预训练大语言模型通过微调应用于处理无线通信系统物理层多个任务仍存在一些困难。由于物理层任务的映射关系多样，存在很多弱相关的任务，例如信道预测与定位增强，这增加了联合训练的难度。而且，由于csi和自然语言之间存在巨大的领域代沟，还有，需要避免任务间弱相关导致的互斥现象的发生，无线通信系统物理层这些特征都进一步增加了网络的设计难度。
技术实现思路
1、为了克服上述现有技术存在的不足，本专利技术提出了一种基于预训练大语言模型的多输入多输出-正交频分复用(mimo-ofdm)无线通信系统物理层多任务处理解决方法，将设计的无线通信系统物理层多任务网络模型在物理层多任务混合数据集上进行训练，实现了高精度的物理层多任务效果和高效率的训练流程。
2、本专利技术是一种应用于mimo-ofdm无线通信系统的将预训练大语言模型进行微调使其具备解决物理层多个任务的能力的技术，其中，物理层任务包括但不限于无线通信系统信道估计、信道预测、波束管理、定位增强等任务。本专利技术考虑了同时具备低频和毫米波无线通信链路的双模通信系统。基于预训练大语言模型构建无线通信系统物理层多任务大模型，在基站侧部署该物理层多任务大模型，通过用户历史数据进行训练，训练完成后进行在线推理，可用于完成信道估计、信道预测、距离估计、路损估计、波束成形等多个任务。该物理层多任务大模型的输入为前p个时刻的用户上行低频导频信号，输出对应各个任务的目标输出，即为前p个时刻用户上行低频csi，后l个时刻用户下行低频csi，用户距离基站的距离与路径损耗，毫米波下行波束向量。通过集成多个任务于一个模型中，维持推理精度不变的情况下，提升了模型的推理效率，便于模型维护与系统更新。
3、为达到上述目的，本专利技术主要包括构建一个基于预训练大语言模型(gpt-2)的无线通信系统物理层多任务网络模型，包含预处理模块，多任务适配器模块，预训练大模型骨干网络模块和多任务输出模块，部署在基站侧，通过用户上行低频导频信号在线推理完成多个物理层任务。其中gpt-2模型采用openai开发的一种基于transformer架构的开源大语言模型。为了提高模型多任务学习效率，gpt-2模型的大部分参数被冻结，只有其中前馈网络的线性层通过本专利技术设计的moe-lora进行微调，其中moe-lora指的是一种结合了混合专家模型与lora微调的多任务微调方法。本专利技术首次将该多任务微调方法应用在无线通信系统物理层任务上，并结合了预训练大模型与多任务学习，实现了大模型的多任务高效微调的效果。同时针对物理层任务的特点，本专利技术设计了多任务专家权重分配网络以更好地动态组合专家网络的决策。
4、基于预训练大语言模型的无线通信系统物理层多任务处理解决方法包括如下步骤：
5、1)使用者通过实地信道测量或者仿真的方式获得mimo-ofdm信道预测训练数据集，每个样本包括一段连续时间内的前p个时间采样点的上行低频链路接收的导频信号(模型输入)，后l个时间采样点的下行低频链路的csi数据以及用户与基站的距离和路径损耗，以及毫米波下行最优波束序号(模型输出)，各时间采样点的采样间隔相同。
6、2)构建基于预训练大语言模型(gpt-2)的无线通信系统物理层多任务网络模型，包括预处理模块，多任务适配器模块，预训练大模型骨干网络模块和多任务输出模块。该网络输入为前p个时刻的用户上行低频导频信号(训练集中的前p个时间采样点的上行低频链路接收的导频信号)，输出对应各个任务的目标输出，即前p个时刻用户上行低频csi，后l个时刻用户下行低频csi，用户距离基站的距离与路径损耗，毫米本文档来自技高网...
【技术保护点】
1.一种基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，基于预训练大语言模型构建无线通信系统物理层多任务大模型，并在基站侧部署，通过用户历史数据进行训练，训练完成后进行在线推理，从而完成无线通信系统物理层的多个任务；包括如下步骤：
2.如权利要求1所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，无线通信系统为基站-单用户通信场景，其中基站侧配备有线阵多天线，用户侧配备单天线；信号形式为正交频分复用信号；无线通信系统物理层多任务网络模型处理的无线通信物理层任务包括：信道估计、信道预测、Sub-6G辅助的毫米波波束成形、用户距离估计、路径损耗估计。
3.如权利要求1所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，步骤1)中，各时间采样点的采样间隔相同；构建无线通信系统物理层多任务混合数据集具体是将多个无线通信系统物理层任务的数据集进行合并；包括：
4.如权利要求3所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，步骤2)基于预训练大语言模型构建无线通信系统物理层多任务网络模型
5.如权利要求4所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，多任务适配器的输入为先通过线性映射层将维度进行简单对齐即映射到其中L为输入到预训练LLM的序列长度，768为选用的预训练GPT-2的隐藏层维度；再通过残差连接网络进行特征语义的对齐得到表示为：
6.如权利要求4所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，S23中，骨干网络采用GPT-2大语言模型；微调方法采用MoE-Lora微调方法。
7.如权利要求4所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，S24将大模型输出的特征再次送入多任务适配器来进一步实现特征对齐，表示为：
8.如权利要求1所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，利用训练好的无线通信物理层多任务处理模型进行下线预测时，首先将用户历史P个时刻的上行低频导频信号数据通过张量化操作转为网络输入的格式。
...【技术特征摘要】
1.一种基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，基于预训练大语言模型构建无线通信系统物理层多任务大模型，并在基站侧部署，通过用户历史数据进行训练，训练完成后进行在线推理，从而完成无线通信系统物理层的多个任务；包括如下步骤：
2.如权利要求1所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，无线通信系统为基站-单用户通信场景，其中基站侧配备有线阵多天线，用户侧配备单天线；信号形式为正交频分复用信号；无线通信系统物理层多任务网络模型处理的无线通信物理层任务包括：信道估计、信道预测、sub-6g辅助的毫米波波束成形、用户距离估计、路径损耗估计。
3.如权利要求1所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，步骤1)中，各时间采样点的采样间隔相同；构建无线通信系统物理层多任务混合数据集具体是将多个无线通信系统物理层任务的数据集进行合并；包括：
4.如权利要求3所述基于预训练大语言模型的无线通信物理层多任务处理方法，其特征在于，步骤2)基于预训练大语言模型构建无线通信系统物理层多任务网络模型，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。