一种基于Sarsa算法的通联队列管控方法技术

本发明专利技术提出了一种基于法的通联队列管控方法。在山岳丛林、高原高寒山地、山林地、荒漠地等荒野救援应用场景下，卫星通信、北斗用户机、短波电台、超短波电台等通信装备提供的通信网络条件远远低于有线网络环境。本发明专利技术针对荒野救援等有限通信资源环境中如何为用户提供智能、高效的通联能力问题，提出一种基于法的通联队列管控方法。该方法由通联队列控制策略、通信信道估计建模、通信响应时间建模和报文关键等级建模等内容组成，能够实现用户无感的自适应通联控制能力，满足荒野救援等应用场景下救援信息能够实时共享的应用需求。用需求。用需求。

【技术实现步骤摘要】
一种基于Sarsa算法的通联队列管控方法


[0001]本专利技术涉及一种通联队列管控方法，特别是一种基于算法的通联队列管控方法。

技术介绍

[0002]强化学习也被称为再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。经典强化学习问题通常被建模为马尔可夫决策过程（Markov DecisionProcess，MDP），即下一时刻的状态仅由当前时刻的动作决定，与过去的信息无关。一个标准的MDP通常可以表示为一个四元组M=(S,A,r,P)，其中S表示所有状态的集合，A表示所有动作的集合，r表示奖赏函数，P表示状态转移函数。强化学习的目标是最大化带有折扣的期望回报。 算法（参考：基于改进ＳＡＲＳＡ（λ）移动机器人路径规划[J].长春工业大学学报,2019(1).）是一种基于值函数的强化学习算法， λ是一个衰变值，它可以通过记下离目标越近的选择就越重要,越需要被好好的更新的方式加快 算法的收敛速度，最终实现快速计算最优解。
[0003]受限于在山岳丛林、高原高寒山地、山林地、荒漠地等荒野救援应用场景下，卫星通信、北斗用户机、短波电台、超短波电台等装备提供的通信设备条件远远低于有线网络环境，如何在有限的通信资源环境中为用户提供智能、高效的通联能力是荒野救援场景下的技术难点。目前，商用通信领域对通信智能化管控技术已有研究成果，但大部分是针对企业或商用的业务应用场景，这些成果并不适用于通信条件受到复杂地理环境限制的应用环境，因此需要研究荒野救援等复杂通信环境下的通信智能化管控技术，满足荒野救援场景下救援信息能够实时共享的应用需求。

技术实现思路

[0004]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于 算法的通联队列管控方法。
[0005]为了解决上述技术问题，本专利技术公开了一种基于算法的通联队列管控方法，包括以下步骤：步骤1，针对弱连接和高机动的网络通信环境，根据不同类型的通信设备，进行通信信道估计建模，得到通信装备信道估计模型；步骤2，对上层应用报文的通信响应时间建模，得到通信响应时间模型；步骤3，对上层应用报文的关键等级建模，得到报文关键等级模型；步骤4，基于算法（参考：基于Sarsa算法的交通信号灯控制方法[J].信息与电脑,2021(6):49
‑
51.）制定通联智能管控策略，对所述的通信装备信道估计模型、通信响应时间模型和报文关键等级模型的通联通信能力进行计算，完成所述的通联队列管控。
[0006]步骤1中所述的进行通信信道估计建模的方法包括：
步骤1
‑
1，实时分析所述网络通信环境中的系统通信报文的历史传输状态；步骤1
‑
2，分析并计算当前时间内通信报文使用的通信信道及其对应的成功率；步骤1
‑
3，进行通信信道估计建模。
[0007]步骤1
‑
2中所述的分析并计算当前时间内通信报文使用的通信信道及其对应的成功率，方法如下：；其中， 表示历史报文选择通信信道a发送成功的概率， 表示历史报文选择通信信道b发送成功的概率， 表示历史报文选择通信信道n发送成功的概率，其中，a表示卫星通信信道，b表示短波电台通信信道，n表示其他设备通信信道， 表示步骤1。
[0008]步骤1
‑
3中所述的进行通信信道估计建模，方法如下：根据公式：其中， 表示在当前网络通信环境下，选择通信信道a即卫星通信信道、通信信道b即短波电台通信信道、通信信道n即其它设备通信信道等通信方式成功发送当前报文的权值， 表示在信道估计建模中使用，n表示选择不同的通信信道；进行通信信道估计建模：其中， 表示选择通信信道a即卫星通信信道成功发送报文的权值， 表示选择通信信道b即短波电台通信信道成功发送报文的权值， 表示选择通信信道n即其它设备通信信道成功发送报文的权值。
[0009]步骤2中所述的对上层应用报文的通信响应时间建模，包括以下步骤：步骤2
‑
1，实时分析系统未发送报文信息，分析计算未发送报文使用的通信信道；步骤2
‑
2，估计各个通信信道未发送报文数目；步骤2
‑
3，计算得出新增报文使用各个通信信道的通信响应时间；步骤2
‑
4，对上层应用报文的通信响应时间建模。
[0010]步骤2
‑
2中所述的估计各个通信信道未发送报文数目，方法如下： ；其中， 表示通信信道a缓存的待发送报文数目， 表示通信信道b缓存的待发送报文数目， 表示通信信道n缓存的待发送报文数目， 表示在通信响应时间建模中对通信信道a即卫星通信信道使用， 表示通信响应时间建模中对通信信道b即短波电台通信信道使用， 表示通信响应时间建模中对通信信道n即其它设备通信信道使用。
[0011]步骤2
‑
3中所述的计算得出新增报文使用各个通信信道的通信响应时间 ，方法如下：
其中， 表示选择通信方式n的发送频度，即每发送1条报文预计需要的时间。
[0012]步骤2
‑
4中所述的对上层应用报文的通信响应时间建模，方法如下：根据公式：对上层应用报文的通信响应时间建模：其中， 表示选择通信信道a即卫星通信信道发送报文需要的通信响应时间权值， 表示选择通信信道b即短波电台通信信道发送报文需要的通信响应时间权值， 表示选择通信信道n即其它设备通信方式发送报文需要的通信响应时间权值。
[0013]步骤3中所述的对上层应用报文关键等级建模，包括以下步骤：步骤3
‑
1，实时分析系统未发送报文信息，分析提取报文内容中的关键字，对报文关键等级 进行识别，将报文划分为关键等级高的报文和其他报文；步骤3
‑
2，对于关键等级高的报文，优先提交至通信响应时间最少，通信信道最好的通信设备上，对应公式：其中， 表示在报文关键等级建模中当前报文的权值， 表示在通信信道估计建模中的最大权值， 表示在通信响应时间建模中的最大权值。
[0014]步骤4中所述基于 算法制定通联智能管控策略的方法包括：步骤4
‑
1，上一条应用报文通联管控信息权值Q表取决于通信方式的通信信道状态、通信响应时间和应用报文的关键等级，用如下公式表示：其中， 表示上一条应用报文在通联管控信息表中对应的权值， 表示上一条应用报文在通信信道估计建模中对应的权值， 表示上一条应用报文在通信响应时间建模中对应的权值， 表示上一条应用报文在报文关键等级建模中对应的权值；步骤4
‑
2，根据 算法，当前应用报文通联管控更新因子E表，用如下公式表示：其中， 表示当前应用报文通联管控更新因子的值取决于上一条应用报文的通联管控信息权值Q表；步骤4
‑
3，根据 算法，当前应用报文通联管控信息权值Q表取决于当前通信方式的通信信道状态、通信响应时间、应用报文关键等级估计和当前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于算法的通联队列管控方法，其特征在于，包括以下步骤：步骤1，针对弱连接和高机动的网络通信环境，根据不同类型的通信设备，进行通信信道估计建模，得到通信装备信道估计模型；步骤2，对上层应用报文的通信响应时间建模，得到通信响应时间模型；步骤3，对上层应用报文的关键等级建模，得到报文关键等级模型；步骤4，基于算法制定通联智能管控策略，对所述的通信装备信道估计模型、通信响应时间模型和报文关键等级模型的通联通信能力进行计算，完成所述的通联队列管控。2.根据权利要求1所述的一种基于算法的通联队列管控方法，其特征在于，步骤1中所述的进行通信信道估计建模的方法包括：步骤1
‑
1，实时分析所述网络通信环境中的系统通信报文的历史传输状态；步骤1
‑
2，分析并计算当前时间内通信报文使用的通信信道及其对应的成功率；步骤1
‑
3，进行通信信道估计建模。3.根据权利要求2所述的一种基于算法的通联队列管控方法，其特征在于，步骤1
‑
2中所述的分析并计算当前时间内通信报文使用的通信信道及其对应的成功率，方法如下：；其中， 表示历史报文选择通信信道a发送成功的概率， 表示历史报文选择通信信道b发送成功的概率， 表示历史报文选择通信信道n发送成功的概率，其中，a表示卫星通信信道，b表示短波电台通信信道，n表示其他设备通信信道， 表示步骤1。4.根据权利要求3所述的一种基于算法的通联队列管控方法，其特征在于，步骤1
‑
3中所述的进行通信信道估计建模，方法如下：根据公式：其中， 表示在当前网络通信环境下，选择通信信道a即卫星通信信道、通信信道b即短波电台通信信道、通信信道n即其它设备通信信道等通信方式成功发送当前报文的权值， 表示在信道估计建模中使用，n表示选择不同的通信信道；进行通信信道估计建模：其中， 表示选择通信信道a即卫星通信信道成功发送报文的权值， 表示选择通信信道b即短波电台通信信道成功发送报文的权值， 表示选择通信信道n即其它设备通信信道成功发送报文的权值。5.根据权利要求4所述的一种基于算法的通联队列管控方法，其特征在于，步骤2中所述的对上层应用报文的通信响应时间建模，包括以下步骤：步骤2
‑
1，实时分析系统未发送报文信息，分析计算未发送报文使用的通信信道；步骤2
‑
2，估计各个通信信道未发送报文数目；
步骤2
‑
3，计算得出新增报文使用各个通信信道的通信响应时间；步骤2
‑
4，对上层应用报文的通信响应时间建模。6.根据权利要求5所述的一种基于 算法的通联队列管控方法，其特征在于，步骤2
‑
2中所述的估计各个通信信道未发送报文数目，方法如下：；其中， 表示通信信道a缓存的待发送报文数目， 表示通信信道b缓存的待发送报文数目， 表示通...

【专利技术属性】
技术研发人员：吴鹏，史星宇，郑华利，陆生，朱峰，朱江，汪磊，施晓东，葛光富，钱丰，费超，刘欢连，靳朝，李彭，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：