低轨卫星的跳波束调度方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开一种低轨卫星的跳波束调度方法、系统、装置及存储介质，涉及卫星跳波束技术领域。低轨卫星的跳波束调度方法包括：获取低轨卫星系统中波束簇的小区覆盖信息；根据所述小区覆盖信息，以所述小区为状态，波束跳动方向为行为，构建Q值矩阵表；初始化所述Q值矩阵表中的Q值；按照预设的训练次数训练所述Q值矩阵表，得到跳波束策略，以使低轨卫星根据跳波束策略进行波束调度；其中，每一次训练所述Q值矩阵表包括以下步骤：以波束遍历波束簇中的所有小区为目标状态，采用强化学习算法更新所述Q值矩阵表。本申请能够自动生成的跳波束策略以对低轨卫星的波束进行合理调度。以对低轨卫星的波束进行合理调度。以对低轨卫星的波束进行合理调度。

【技术实现步骤摘要】
低轨卫星的跳波束调度方法、系统、装置及存储介质


[0001]本专利技术涉及卫星通信
，尤其涉及一种低轨卫星的跳波束调度方法、系统、装置及存储介质。

技术介绍

[0002]目前，随着5G技术的日益成熟，5G发展稳步前进。由于5G的高性能、低延迟和高容量等突出特点，5G技术开启了万物互联的新时代，融入了人工智能、大数据等多项技术。但是5G通信作为一种陆地移动系统，具有一定的局限性。由于经济和技术的限制，陆地移动通信服务不能覆盖到所有区域，比如海洋、森林、沙漠等偏远地区的船舶、飞机、科考设备等难以使用带宽。采用卫星网络作为辅助通信的手段，可以解决陆地移动通信服务覆盖不到的区域的通信问题，因此，5G和卫星网络的结合可以大大的提升网络覆盖范围。
[0003]高轨卫星轨道资源有限且数据传输延迟大，在线视频聊天或者游戏等服务的时延要求都不能满足。相比之下，低轨卫星的数据传输时延被大大缩短，且随着现代移动通信和电子元器件技术的飞速发展，制约早期低轨卫星通信系统的通话质量、数据传输速率和使用成本等问题都迎刃而解，低轨卫星通信系统可以被广泛应用。目前低轨卫星系统的轨道和频谱资源有限，可以使用跳波束技术来分配低轨卫星系统的资源，但是目前还没有合理的跳波束策略进行波束调度。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种低轨卫星的跳波束调度方法、系统、装置及存储介质，能够自动生成的跳波束策略以对低轨卫星的波束进行合理调度。
[0005]一方面，本专利技术实施例提供了一种低轨卫星的跳波束调度方法，包括以下步骤：
[0006]获取低轨卫星系统中波束簇的小区覆盖信息；
[0007]根据所述小区覆盖信息，以所述小区为状态，波束跳动方向为行为，构建Q值矩阵表；
[0008]初始化所述Q值矩阵表中的Q值；
[0009]按照预设的训练次数训练所述Q值矩阵表，得到跳波束策略，以使低轨卫星根据跳波束策略进行波束调度；
[0010]其中，每一次训练所述Q值矩阵表包括以下步骤：
[0011]以波束遍历波束簇中的所有小区为目标状态，采用强化学习算法更新所述Q值矩阵表。
[0012]根据本专利技术一些实施例，所述Q值矩阵表通过以下步骤训练更新：
[0013]在当前状态的所有可能行为中选择一个行为执行，得到下一状态和奖励值；
[0014]根据所述下一状态的最大Q值和所述奖励值更新当前状态被选择行为的Q值。
[0015]根据本专利技术一些实施例，在当前状态的所有可能行为中选择一个行为执行，得到
下一状态和奖励值包括以下步骤：
[0016]在当前状态的所有可能行为中选择一个行为执行，得到下一状态对应的下一小区的覆盖用户数量、重合波束个数和下一小区位置；
[0017]根据当前状态对应的当前小区位置和下一小区位置确定波束移动距离；
[0018]根据所述覆盖用户数量、所述重合波束个数和所述波束移动距离确定所述奖励值。
[0019]根据本专利技术一些实施例，所述根据所述覆盖用户数量、所述重合波束个数和所述波束移动距离确定所述奖励值包括以下步骤：
[0020]根据所述覆盖用户数量确定奖励值正相关项；
[0021]根据所述重合波束个数确定第一奖励值负相关项；
[0022]根据所述波束移动距离确定第二奖励值负相关项；
[0023]根据所述奖励值正相关项、所述第一奖励值负相关项和所述第二奖励值负相关项确定所述奖励值。
[0024]根据本专利技术一些实施例，所述奖励值通过以下公式获得：
[0025][0026]其中，reward表示奖励值，M表示覆盖用户数量，N表示重合波束个数，D表示波束移动距离。
[0027]根据本专利技术一些实施例，所述根据所述下一状态的最大Q值和所述奖励值更新当前状态被选择行为的Q值包括以下步骤：
[0028]根据所述下一状态的最大Q值和所述奖励值确定当前状态的期望Q值；
[0029]根据当前状态的期望Q值与更新前的当前状态的Q值的差距更新当前状态被选择行为的Q值。
[0030]根据本专利技术一些实施例，所述当前状态的期望Q值通过以下公式计算：
[0031]Q(s
t
',a
t
')＝reward+gamma
×
arg(max(Q(s
t+1
))；
[0032]其中，Q(s
t
',a
t
')表示当前状态的期望Q值，gamma表示预设的衰减值，Q(s
t+1
)表示下一状态的所有可能行为对应的Q值。
[0033]另一方面，本专利技术实施例还提供一种低轨卫星的跳波束调度系统，包括：
[0034]第一模块，用于获取低轨卫星系统中波束簇的小区覆盖信息；
[0035]第二模块，用于根据所述小区覆盖信息，以所述小区为状态，波束跳动方向为行为，构建Q值矩阵表；
[0036]第三模块，用于初始化所述Q值矩阵表中的Q值；
[0037]第四模块，用于按照预设的训练次数训练所述Q值矩阵表，得到跳波束策略，以使低轨卫星根据跳波束策略进行波束调度；
[0038]其中，每一次训练所述Q值矩阵表包括以下步骤：
[0039]以波束遍历波束簇中的所有小区为目标状态，采用强化学习算法更新所述Q值矩阵表。
[0040]另一方面，本专利技术实施例还提供一种低轨卫星的跳波束调度装置，包括：
[0041]至少一个处理器；
[0042]至少一个存储器，用于存储至少一个程序；
[0043]当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面所述的低轨卫星的跳波束调度方法。
[0044]另一方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面所述的低轨卫星的跳波束调度方法。
[0045]本专利技术上述的技术方案至少具有如下优点或有益效果之一：通过以波束簇中的小区为状态，波束跳动方向为行为，构建Q值矩阵表并对Q值矩阵表进行初始化，然后以波束遍历波束簇中的所有小区为目标状态，采用强化学习算法更新Q值矩阵表，按照预设的训练次数重复该更新过程，以使Q值矩阵表中的Q值能够准确反映在当前小区位置选择波束跳动方向对应的环境奖励值，从而能够基于Q值矩阵表在不同小区选择环境奖励值更高的波束跳动方向自动生成合理的跳波束策略，根据跳波束策略中对低轨卫星的波束进行合理调度。
附图说明
[0046]图1是本专利技术实施例提供的低轨卫星的跳波束调度方法流程图；
[0047]图2是本专利技术实施例提供卫星通信系统示意图；
[0048]图3是本专利技术实施例提供的低轨卫星的跳波束调度装置示意图。
具体实施方式
[0049]下面详细描述本专利技术的实施例，所述实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低轨卫星的跳波束调度方法，其特征在于，包括以下步骤：获取低轨卫星系统中波束簇的小区覆盖信息；根据所述小区覆盖信息，以所述小区为状态，波束跳动方向为行为，构建Q值矩阵表；初始化所述Q值矩阵表中的Q值；按照预设的训练次数训练所述Q值矩阵表，得到跳波束策略，以使低轨卫星根据跳波束策略进行波束调度；其中，每一次训练所述Q值矩阵表包括以下步骤：以波束遍历波束簇中的所有小区为目标状态，采用强化学习算法更新所述Q值矩阵表。2.根据权利要求1所述的低轨卫星的跳波束调度方法，其特征在于，所述Q值矩阵表通过以下步骤训练更新：在当前状态的所有可能行为中选择一个行为执行，得到下一状态和奖励值；根据所述下一状态的最大Q值和所述奖励值更新当前状态被选择行为的Q值。3.根据权利要求2所述的低轨卫星的跳波束调度方法，其特征在于，在当前状态的所有可能行为中选择一个行为执行，得到下一状态和奖励值包括以下步骤：在当前状态的所有可能行为中选择一个行为执行，得到下一状态对应的下一小区的覆盖用户数量、重合波束个数和下一小区位置；根据当前状态对应的当前小区位置和下一小区位置确定波束移动距离；根据所述覆盖用户数量、所述重合波束个数和所述波束移动距离确定所述奖励值。4.根据权利要求3所述的低轨卫星的跳波束调度方法，其特征在于，所述根据所述覆盖用户数量、所述重合波束个数和所述波束移动距离确定所述奖励值包括以下步骤：根据所述覆盖用户数量确定奖励值正相关项；根据所述重合波束个数确定第一奖励值负相关项；根据所述波束移动距离确定第二奖励值负相关项；根据所述奖励值正相关项、所述第一奖励值负相关项和所述第二奖励值负相关项确定所述奖励值。5.根据权利要求3所述的低轨卫星的跳波束调度方法，其特征在于，所述奖励值通过以下公式获得：其中，reward表示奖励值，M表示覆盖用户数量，N表示重合波束个数，D表示波束移动距离。6.根据权利要求2所述的低轨卫星的跳波束调度方法，其特征在...

【专利技术属性】
技术研发人员：王丹，
申请(专利权)人：爱浦路网络技术南京有限公司，
类型：发明
国别省市：