一种基于低轨巨星座的民航互联网业务管理与接入资源分配方法组成比例

一种基于低轨巨星座的民航互联网业务管理与接入资源分配方法，1)定义选定区域选定时间段内民航客机到低轨卫星上行通信链路的数据传输模型；2)面向不同民航互联网业务的通信需求，定义民航客机与低轨卫星接入资源分配问题的决策变量、目标函数及约束条件；3)将问题建模为一个马尔科夫决策过程，定义状态、动作、状态转移，并设计合理的奖励函数以同时满足两类业务的需求；4)根据已定义的模型搭建民航卫星网络环境并设置训练参数，进行基于强化学习的训练；5)在真实民航卫星网络中部署训练的强化学习模型，每个时隙由控制器收集状态信息并发送至民航客机，客机基于模型进行接入资源分配决策并根据得到的奖励和下一时隙状态进行模型更新。模型更新。模型更新。

【技术实现步骤摘要】
一种基于低轨巨星座的民航互联网业务管理与接入资源分配方法


[0001]本专利技术属于卫星通信
，涉及面向民航互联网动态性和多样性需求，基于低轨巨星座的民航互联网业务管理与接入资源分配方法。

技术介绍

[0002]近年来，航空业蓬勃发展的同时也带来了民航用户通信与信息传输需求的增加，主要包括驾驶舱内安全类实时通信需求及客舱内娱乐类宽带通信需求等。目前民航互联网机外接入主要有地面基站接入和卫星转发接入两种技术方案。尽管当前地面基站的上网体验仍有较为明显的优势，但是从长远的角度看，地面基站接入方式不支持跨洋航班通信这样的天然劣势无法通过技术的手段去解决，而当前卫星转发接入方式通信质量的劣势是有望在将来大规模低轨卫星宽带星座建成以后得以修正的，因此灵活性更高的机载卫星通信方案待技术革新之后将在未来更多地被投入到航空宽带应用中。
[0003]然而低轨卫星网络不同于传统地面网络，其大规模且高动态的节点为接入与资源分配带来了巨大的挑战。相较于中轨和高轨卫星，低轨卫星通信时延低、传输速率高，但是移动速度也更快。在拓扑迅速变化的民航低轨卫星互联网络中，飞机和卫星都高速移动，即需求和资源均随时空高度变化，这导致系统需要基于动态的网络信息频繁地进行接入与资源分配的决策以保持稳定的连接，传统基于静态的网络信息进行接入与资源分配的方法将不再适用。
[0004]卫星网络接入选择技术通常可以分为基于单参数和多参数两种。常见的接入选择参数有：最大信号强度接入、最大仰角接入、最长覆盖时间接入、负载均衡接入。若要同时保证系统性能和负载均衡，接入选择必须同时考虑卫星当前信道状态信息以及当前负载信息等多个参数。经过对现有文献的检索发现，S.Zhang等人于2020年发表了题为“A Multi
‑
objective Satellite Handover Strategy Based on Entropy in LEO Satellite Communications(一种基于熵的多目标低轨卫星切换策略)”的文章，采用熵的方法对四种切换参数——信道质量、剩余服务时间、当前服务用户数和卫星功率进行加权，并将多目标优化问题转化为单目标优化问题，通过仿真验证了该策略在系统切换次数、信噪比和负载均衡等方面的提升；然而基于熵的方法只能在每个时间步利用卫星网络的瞬时信息求解，其智能化水平低，无法在动态变化的环境中主动学习来调整策略。经检索还发现，J.Wang等人于2021年发表了题为“Deep Reinforcement Learning
‑
based Satellite Handover Scheme for Satellite Communications(基于深度强化学习的卫星切换方案)”的文章，提出了一种基于深度强化学习的卫星切换方案，每个用户设备作为独立的智能体，考虑多个切换参数做出切换决策，以同时保证切换成功率、通信质量和卫星资源的利用率；然而该切换方案没有考虑用户需求的多样性，无法实现资源的按需分配。
[0005]综上所述，现有技术存在的问题是：(1)民航卫星互联网络中客机和卫星的高速移动导致需求和资源均随时空高度变化，传统数学优化方法无法基于动态的状态信息频繁地
更新决策；(2)不同类型的民航业务，如驾驶舱内安全类实时通信需求及客舱内娱乐类宽带通信需求等有着不同的通信需求，只考虑单一用户类型的卫星切换方案无法同时满足不同类型业务的需求从而实现资源的按需分配。解决上述技术问题的意义在于：面向民航卫星互联网需求的动态性和多样性，设计动态高效的民航互联网业务管理与低轨卫星接入资源分配方法，为民航客机用户提供稳定且高质量的机上联网服务。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术目的是，面向民航互联网动态性和多样性需求，提供了一种基于低轨巨星座的民航互联网业务管理与接入资源分配方法。
[0007]本专利技术的技术方案是，基于低轨巨星座的民航互联网业务管理与接入资源分配方法，包括以下步骤：
[0008]步骤1：定义选定区域选定时间段内民航客机到低轨卫星上行通信链路的数据传输模型；
[0009]步骤1
‑
1：定义网络模型，建立基于SDN的民航卫星网络架构，选定区域选定时间段内有一颗MEO卫星作为控制器，以及LEO卫星和民航客机集合；
[0010]步骤1
‑
2：分别以语音业务和流类业务为代表，定义URLLC和eMBB业务的数据到达模型；
[0011]步骤1
‑
3：建立民航客机到LEO卫星的上行链路通信信道模型；
[0012]步骤1
‑
4：定义单个民航客机到LEO卫星的上行链路通信总时延包括传播时延、传输时延及切换时延；
[0013]步骤2：面向不同民航互联网业务的通信需求，定义民航客机与低轨卫星的接入资源分配问题的决策变量、目标函数及约束条件；
[0014]步骤2
‑
1：定义问题的决策变量；
[0015]步骤2
‑
2：定义面向URLLC和eMBB两种业务需求的目标函数；
[0016]步骤2
‑
3：定义目标函数的约束条件，规定每个时隙每架民航客机至多接入一颗LEO卫星，同时每个时隙接入同一颗LEO卫星的客机数不能超过这颗LEO卫星的上行链路的载波信道数；
[0017]步骤3：将上述问题建模为一个马尔科夫决策过程，定义状态、动作、状态转移以及奖励向量；
[0018]步骤3
‑
1：定义状态空间，每个时隙每架民航客机进行局部观测，其观测状态包括三个部分：1)民航客机自身的相关信息：民航客机ID、URLLC和eMBB业务待传输数据量；2)LEO卫星集合的相关信息：LEO卫星ID、与民航客机的距离、上行链路通信信道信息、剩余载波信道数；3)上一时隙该民航客机接入的卫星；
[0019]步骤3
‑
2：定义动作空间，即满足当前时隙民航客机接入条件的LEO卫星集合；
[0020]步骤3
‑
3：定义状态转移，当前时隙民航客机执行的动作会对当前时隙其他民航客机和下一时隙该民航客机的观测状态产生影响；
[0021]步骤3
‑
4：定义奖励函数，民航客机在当前时隙的状态和动作下得到的奖励包含：1)负的当前eMBB业务用户平均通信时延2)负的当前URLLC业务用户单次通信时延超过最大容忍时延的平均次数；
[0022]步骤4：根据定义的模型搭建环境，进行基于强化学习的训练；
[0023]步骤4
‑
1：根据定义的模型搭建民航卫星网络环境；
[0024]步骤4
‑
2：定义神经网络Actor和Critic，并初始化它们的参数；
[0025]步骤4
‑
3：设置最大迭代次数，开始进行强化学习训练，每次迭代重复步骤4
‑
4～4
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于低轨巨星座的民航互联网业务管理与接入资源分配方法，用于满足不同类型民航互联网业务需求的同时实现对低轨卫星上行通信链路资源动态高效的分配，其特征在于，包括以下步骤：步骤1：定义选定区域选定时间段内民航客机到低轨LEO卫星上行通信链路的数据传输模型；步骤2：面向不同民航互联网业务的通信需求，定义民航客机与低轨卫星的接入资源分配问题的决策变量、目标函数及约束条件；步骤3：将上述问题建模为一个马尔科夫决策过程，定义状态、动作、状态转移以及奖励向量；步骤4：根据已定义的模型搭建民航卫星网络环境并设置训练参数，进行基于强化学习的训练，当达到最大迭代次数时，完成训练；步骤5：在真实民航卫星网络中部署训练的强化学习模型，每个时隙由控制器收集状态信息并发送至民航客机，客机基于训练的模型做出动作并根据得到的奖励和下一时隙的状态在线进行模型更新；步骤1包括：步骤1
‑
1：定义网络模型，建立基于软件定义网络SDN(Software Defined Network)的民航卫星网络架构，选定区域选定时间段内有一颗中轨MEO(Medium Earth Orbit)卫星作为全局控制器，以及低轨LEO(Low Earth Orbit)卫星和民航客机集合；步骤1
‑
2：分别以语音业务和流类业务为代表，定义超可靠低时延通信URLLC(Ultra Reliable Low Latency Communication)和增强移动宽带eMBB(enhanced Mobile Broadband)业务的数据到达模型；步骤1
‑
3：建立民航客机到LEO卫星的上行链路通信信道模型；步骤1
‑
4：定义单个民航客机到LEO卫星的上行链路通信总时延包括传播时延、传输时延及切换时延；步骤2包括：步骤2
‑
1：定义民航客机到LEO卫星上行链路用户接入和时频资源分配联合问题的决策变量；步骤2
‑
2：定义面向URLLC和eMBB两种业务需求的目标函数；步骤2
‑
3：定义目标函数约束条件，规定每个时隙每架民航客机至多接入一颗LEO卫星，同时每个时隙接入同一颗LEO卫星的客机数不能超过这颗LEO卫星的上行链路的载波信道数；步骤3包括：步骤3
‑
1：定义状态空间，每个时隙每架民航客机进行局部观测，其观测状态包括三个部分：1)民航客机自身的相关信息：民航客机ID、URLLC和eMBB业务待传输数据量；2)LEO卫星集合的相关信息：LEO卫星ID、与民航客机的距离、上行链路通信信道信息、剩余载波信道数；3)上一时隙该民航客机接入的卫星；步骤3
‑
2：定义动作空间，即当前客机能够接入的LEO卫星集合；步骤3
‑
3：定义状态转移，当前时隙民航客机执行的动作会对当前时隙其他民航客机和下一时隙该民航客机的观测状态产生影响；步骤3
‑
4：定义奖励函数，民航客机在当前时隙的状态和动作下得到的奖励包含：1)负
的当前eMBB业务用户平均通信时延2)负的当前URLLC业务用户单次通信时延超过最大容忍时延的平均次数；步骤4包括：步骤4
‑
1：根据定义的模型搭建强化学习训练环境；步骤4
‑
2：定义神经网络Actor和Critic，并初始化它们的参数；步骤4
‑
3：设置最大迭代次数，开始进行强化学习训练，每次迭代重复步骤4
‑
4～4
‑
6，当遍历每个时隙下的每架民航客机后，进入下一次迭代，当达到最大迭代次数时，结束训练；步骤4
‑
4：将当前时隙当前民航客机的观测状态输入到Actor网络中，按照输出的策略函数概率分布随机抽样一个离散动作，得到奖励，并进行相应的状态转移；步骤4
‑
5：将当前时隙客机的观测状态和下一时隙该客机的观测状态输入到Critic网络中，得到两个状态的价值，并计算优势函数；步骤4
‑
6：更新Critic网络的参数，从而最小化优势函数的绝对值；将优势函数反馈给Actor网络并更新Actor网络的参数，从而最大化PPO算法的目标函数。2.根据权利要求1所述的分配方法，其特征是，定义民航客机到低轨卫星上行通信链路的数据传输模型，包括网络模型、业务模型和通信模型。1)网络模型：在选定区域选定时间段内，有一颗MEO卫星c作为SDN控制器，有LEO卫星集合和民航客机集合{1，2，...m...，M
t
}，N
t
和M
t
分别为时隙t区域内LEO卫星和民航客机的总数量；假定任意一个时隙内，网络拓扑结构不发生变化，且c覆盖所有的和所有的覆盖所有的2)业务模型：以语音和流类业务为代表的URLLC业务和eMBB业务，对这两类业务的数据到达进行建模：2
‑
1)URLLC业务：语音业务中，设定其数据到达服从激活状态(l_u
t
＝1)到静默状态(l_u
t
＝0)的泊松过程，即ON/OFF模型，设时隙t状态为l_u
t
，ON/OFF状态的转换发生在不同时隙，其状态转移概率可以表示为：其中，τ为一个时隙持续的时间，τ1和τ2分别为ON和OFF状态持续的时间；因此，时隙t URLLC业务i到达的数据量为：q_u
i
为业务i处于激活状态下产生的数据量；2
‑
2)eMBB业务：以流类业务为例，设定其数据到达服从离散状态连续时间的马尔科夫过程，每个时隙到达的数据量被量化为G+1个级别，每个级别到达数据量为：(2^0)*q_e，(2^1)*q_e，...，(2^G)*q_e，到达数据量的转化发生在不同时隙，设时隙t的状态等级l_e
t
为g∈{0，1，...，G}，则下一时隙状态等级l_e
t+1
的转移概率为：
其中，μ＝g*α，ω＝(G
‑
g)*β，α和β表示转换速率；ρ＝1表示下一时隙到达数据量向高一级跳转，ρ＝
‑‑
1表示下一时隙到达数据量向低一级跳转，ρ＝0表示下一时隙到达数据量无变化；因此，时隙teMBB业务j到达的数据量为：变化；因此，时隙teMBB业务j到达的数据量为：假设民航客机m上有URLLC、eMBB两种业务需求的用户总量为U
m
，占比分别为r_u
m
、r_e
m
∈[0，1]且r_u
m
+r_e
m
＝1；则时隙t民航客机m新到达的URLLC业务数据量为新到达的eMBB业务数据量为新到达的eMBB业务数据量为3)通信模型：民航客机到LEO卫星上行链路信道和时延进行建模；3
‑
1)信道模型：时隙t民航客机m与LEO卫星n之间的传输信噪比表示为：其中为时隙t民航客机m与LEO卫星n之间的距离；δ为路径衰落指数；P
m
为民航客机m的发射功率；N0为加性高斯噪声方差；h
m，n
＝X1+jX2是信道衰落系数，为复高斯随机变量，是信道衰落系数，为复高斯随机变量，为高斯随机变量，|h
m，n
|2服从非中心卡方分布，其概率...

【专利技术属性】
技术研发人员：周海波，高竹轩，马婷，秦小寒，刘晓宇，
申请(专利权)人：南京大学，
类型：发明
国别省市：