【技术实现步骤摘要】
本专利技术涉及无线通信，关于自适应调制编码(adaptive modulation andcoding，amc)技术，特别涉及一种基于强化学习的自适应调制编码方法。
技术介绍
1、随着5g商用落地，智能技术如智慧工厂、无人驾驶等应用日渐普及。与此同时，智能终端接入的激增，通信系统亟需满足更密集、更高效的用户通信需求。然而，自然资源中频带资源有限，为尽可能提升频谱效率，需要自适应技术动态调整调制编码方案。自上世纪六十年代j hayes[1]提出根据前向信道状态信息(channel state information,csi)，基站可以根据csi修改传输参数，提升系统性能，自适应调制编码(adaptive modulation andcoding,amc)技术[2-4]就此应运而生。在传统的无线通信系统中，amc技术[5,6]是将通信容量与移动条件下的无线信道的时变衰落特性相匹配的良好解决方案。amc技术的核心思想就是用户设备(user equipment,ue)[7]周期性测量信道状态信息，并将得到的结果按照事先规定的对照表映射为信道质量因子[8](channel quality indicator,cqi)，然后基站会根据用户报告的cqi，在预先规定的调制编码方案表[9](modulation and coding scheme,mcs)中动态选择信道编解码和调制解调方式，以求最大限度利用信道容量来提高资源利用率实现高速率和大容量通信，满足无线通信系统日益增长的高传输、快传输需求。以长期系统[10]为例，基站使用嵌入到物理下层控
2、amc技术可以实现在无线信道环境较优时选择更高的传输方式，以传输更多的信息；而当信道较差时，就会切换到低码率和冗余较多的编码方案，降低传输速度和传输符号所携带的比特信息来保证通信的可靠性。但此方法，在具有快时变特征的无线信道中具有很大的局限性，固定的查找表技术只能从寻找适应规定好的传输方案，不能对所有的信道状态匹配一个最佳的编码调制方案。其次，由于信道状态的快速变化，ue将测量结果反馈给基站时，此时基站接收到的信息已经是过时的cqi，这样就会导致根据该cqi采取的mcs[14]不在适配ue现在时刻的信道，可能就会极大削弱amc技术的效率。
3、而伴随着人工智能技术的崛起，机器学习[15](machine learning,ml)技术已经广泛被应用于解决无线通信领域中的各种问题。特别是，ml中的强化学习(reinforcementlearning,rl)具有强大的动态决策能力，有可能解决自组织网络的驱动问题。虽然在传统的amc中，查找表技术[16]可以事先为用户提供一个固定的映射规则，但在通信要求更高的时代显然需要一种更加灵活的映射规则，它可以为每一个用户量身定制一个解决方案。rl因其自身特点，正好成为设计新型amc技术的强有力工具，目前rl已经被应用到容量优化[17]和资源优化[18]等问题中。在自适应调制编码领域中，研究者们也利用强化学习解决amc问题，文献[10]中提出了一种基于q-learning的算法来解决4g网络背景下的amc问题，在保持一定的误码率的前提下尽可能提升系统性能。文献[19]设计了一种基于q学习算法的自适应调制编码算法，该方案是通过强化学习中的q学习算法来代替查找表的方式选择适合信道环境的mcs方案，从而提高频谱效率。在文献[20]中，基于接收到的信噪比进行mcs的选择，在这种情况下，强化学习的状态空间是连续的，算法必须处理较大的数据。文献[21]中，在认知异构网络的背景下采用强化学习提出了一种用于主传输的智能mcs选择算法，同时为尽量减少由于mcs切换引起的系统开销引入了一个成本切换系数，所提算法能更好地平衡传输速率和系统开销。在文献[22]和[23]中，提出了使用rl在带有自编码器的通信系统中进行端到端的学习。文献[24]研究了在过时的csi下利用rl解决自适应调制的问题，通过实际信道测量性能比自回归移动平均模型要好，但是复杂度却要更高。文献[25]中，将电池点对点无线最优传输问题表述为状态转移概率未知的马尔科夫过程，应用rl中的q-learning进行求解该问题，所提策略可以提高系统的吞吐量。文献[26]中提出了一种基于深度q网络的自适应调制方案，训练智能体以速率边界作为状态，尽管频谱效率得到了提升但是该方案并未考虑到编码。
4、根据以上分析，现有基于固定查找表匹配调制编码策略的amc技术频谱效率不高。因此，亟需一种提升系统频谱效率和吞吐量的新方案。
5、[1]hayes,j.,adaptive feedback communications.communication technology[j].ieee transactions on,1968,16(1):29-34.
6、[2]赵晨淞.vde-ter多链路模式下自适应通信技术研究[d].大连海事大学,2022.doi:10.26989/d.cnki.gdlhu.2022.000165.
7、[3]尚玉苗.基于scma系统的自适应调制技术研究[d].北京邮电大学,2022.doi:10.26969/d.cnki.gbydu.2022.001160.
8、[4]孙正.基于多源指标融合的水声通信自适应调制编码算法[d].青岛科技大学,2023.doi:10.27264/d.cnki.gqdhc.2023.000737.
9、[5]su w,lin j,chen k,et al.reinforcement learning-based adaptivemodulation and coding for efficient underwater communications[j].ieee access,2019,7:67539-67550.
10、[6]王安义,李萍,张育芝.基于sarsa算法的水声通信自适应调制[j].科学技术与工程,2020,20(16):6505-6509.
11、[7]刘臻.基于强化学习的自适应调制与编码技术研究[d].电子科技大学,2023.doi:10.27005/d.cnki.gdzku.2023.001817.
12、[8]chaofeng w,zhaohui w,wensheng s,et al.reinforcement learning-basedadaptive transmission in time-varying underwater acoustic channels[j].ieeeaccess,2018,62541-2558.
13、[9]saxena,v.,h.tullberg,andj.jaldén,reinforcement learning forefficient and tuning-free link本文档来自技高网...
【技术保护点】
1.一种基于强化学习的自适应调制编码方法，其特征在于，步骤如下：
2.如权利要求1所述的基于强化学习的自适应调制编码方法，其特征在于，所述步骤S1具体步骤如下：
3.如权利要求1所述的基于强化学习的自适应调制编码方法，其特征在于，所述步骤S2具体步骤如下：
4.如权利要求1所述的基于强化学习的自适应调制编码方法，其特征在于，所述步骤S3具体步骤如下：
5.如权利要求1所述的基于强化学习的自适应调制编码方法，其特征在于，所述步骤S4具体步骤如下：
6.如权利要求3所述的基于强化学习的自适应调制编码方法，其特征在于，所述步骤S23中，所述实际传输性能包括吞吐量和误码率。
7.如权利要求5所述的基于强化学习的自适应调制编码方法，其特征在于，所述步骤S41中，所述关键性能指标包括吞吐量和误码率。
【技术特征摘要】
1.一种基于强化学习的自适应调制编码方法，其特征在于，步骤如下：
2.如权利要求1所述的基于强化学习的自适应调制编码方法，其特征在于，所述步骤s1具体步骤如下：
3.如权利要求1所述的基于强化学习的自适应调制编码方法，其特征在于，所述步骤s2具体步骤如下：
4.如权利要求1所述的基于强化学习的自适应调制编码方法，其特征在于，所述步骤s3具体步骤如...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。