【技术实现步骤摘要】
本专利技术涉及通信的，尤其是涉及一种面向任务连通性保持的网络拓扑智能生成方法与装置。
技术介绍
1、无人机集群网络已经成为全球学术和工业领域关注的焦点。在执行实际任务过程中，无人机集群中的部分无人机因任务需要可能会服务在不同的任务区域上方。然而如果这些无人机间的距离过远，就会导致通信连接丧失，导致无人机间无法组网，急剧影响网络的整体性能。为了克服这一挑战，学术界最近的研究集中于在无人机集群中部署额外的节点来构建网络的连通性。具体来说，研究者们首先将无人机群中的无人机按照其特性分为两类：任务执行节点mu和接力节点ru。mu（即是那些因需服务于任务区域上方而分散的无人机节点），它们不会关注于网络性能的保持。ru则充当连接的桥梁，保持通信链路的稳定。ru的部署对于构建高效的无人机网络拓扑至关重要。
2、现有技术中，通常采用以下方法对ru进行部署：基于连通支配集的方法、基于粒子群算法和基于神经网络的方法，但上述算法大多需要一个中央计算单元，其通过获取每个时隙mu的位置，计算出当前部署ru的最佳位置。由于计算以及将部署策略传输至各个ru均需一定的时间，因此高动态背景下会造成ru的部署在时间上存在滞后的技术问题。
技术实现思路
1、本专利技术的目的在于提供一种面向任务连通性保持的网络拓扑智能生成方法与装置，保证了无人机集群中接力节点部署的时效性、减少了无人机网络的连通分支数，保证无人机网络的连通性。
2、第一方面，本专利技术提供一种面向任务连通性保持的网络拓扑智能生成方
3、在可选的实施方式中，计算所述无人机网络在下一时隙的连通分支数包括以下步骤：基于第一无人机节点和第二无人机节点在下一时隙的位置数据，计算所述第一无人机节点与所述第二无人机节点在下一时隙的距离；其中，所述第一无人机节点和所述第二无人机节点表示所述无人机集群中的任意两个无人机节点；基于预设通信功率阈值和所述第一无人机节点与所述第二无人机节点在下一时隙的距离，确定所述第一无人机节点与所述第二无人机节点在下一时隙的邻接关系；基于下一时隙所述无人机集群中无人机节点之间的邻接关系，确定所述无人机网络在下一时隙的邻接矩阵和度矩阵；其中，所述度矩阵中第i个对角线元素表示所述无人机集群中第i个无人机节点的邻居节点个数；基于所述邻接矩阵和所述度矩阵，确定所述无人机网络在下一时隙的拉普拉斯矩阵；将所述拉普拉斯矩阵中特征值为0的元素个数作为所述无人机网络在下一时隙的连通分支数。
4、在可选的实施方式中，基于预设通信功率阈值和所述第一无人机节点与所述第二无人机节点在下一时隙的距离，确定所述第一无人机节点与所述第二无人机节点在下一时隙的邻接关系，包括：基于所述第一无人机节点与所述第二无人机节点在下一时隙的距离，计算下一时隙所述第一无人机节点与所述第二无人机节点的通信信道中的大尺度衰落和小尺度衰落；获取无人机的恒定发射功率、所述第一无人机节点的第一恒定天线增益和所述第二无人机节点的第二恒定天线增益；基于所述恒定发射功率、所述第一恒定天线增益、所述第二恒定天线增益、所述大尺度衰落和所述小尺度衰落，计算下一时隙所述第一无人机节点接收到的所述第二无人机节点发送的功率；在确定所述功率大于或等于所述预设通信功率阈值的情况下，确定所述第一无人机节点与所述第二无人机节点在下一时隙邻接；在确定所述功率小于所述预设通信功率阈值的情况下，确定所述第一无人机节点与所述第二无人机节点在下一时隙非邻接。
5、在可选的实施方式中，所述目标多智能体强化学习模型为目标actor-critic网络中的目标actor网络，所述目标actor网络包括：多个目标策略网络；所述方法还包括：获取训练样本集；其中，所述训练样本集中包括多个训练样本，每个所述训练样本中包括：所有智能体在当前时隙的状态、所有智能体在当前时隙的动作、所有智能体执行动作后的奖励和所有智能体在下一时隙的状态；重复执行下述步骤，直至达到预设迭代次数，得到所述目标actor-critic网络：从所述训练样本集中抽取指定数量的训练样本，得到批处理样本；利用第一损失函数对所述批处理样本进行处理，以基于第一损失函数值对初始actor-critic网络中的初始critic网络进行更新，以及，利用第二损失函数对所述批处理样本进行处理，以基于第二损失函数值对初始actor-critic网络中的多个初始策略网络进行按序更新；在确定critic网络的更新次数达到指定次数的情况下，利用当前critic网络的网络参数更新target-critic网络的网络参数。
6、在可选的实施方式中，训练所述初始actor-critic网络所使用的目标函数为：；其中，表示期望，，表示t时隙第i个智能体的状态，，表示t时隙第i个智能体的动作，表示预设训练时长，表示奖励折扣因子，，表示t时隙所有智能体在状态下执行动作后的奖励，表示熵学习率，表示智能体的总数，，表示在策略网络参数下，智能体i在状态下采取动作的概率。
7、在可选的实施方式中，所述critic网络和所述target-critic网络均采用双q网络；所述第一损失函数表示为：；其中，表示第j个critic网络的网络参数，表示批处理样本中的样本数量，表示第j个critic网络针对所有智能体在状态下采取动作的评价结果，，表示第j个target-critic网络针对所有智能体在状态下采取动作的评价结果，表示在策略网络参数下，智能体i在状态下采取动作的概率。
8、在可选的实施方式中，所述第二损失函数表示为：；其中，表示第j个critic网络针对所有智能体在状态下采取动作的评价结果，，表示t时隙第1个智能体至第i-1个智能体的动作的联结向量，表示已经完成更新的第1个智能体至第i-1个智能体的策略网络参数，，表示当前正在更新的第i个智能体的策略网络参数，，表示t时隙第i+1个智能体至第n个智能体的动作的联结向量，表示尚未更新的第i+1个智能体至第n个智能体的策略网络参数。
9、第二方面，本专利技术提供一种面向任务连通性保持的网络拓扑智能生本文档来自技高网...
【技术保护点】
1.一种面向任务连通性保持的网络拓扑智能生成方法，其特征在于，包括：
2.根据权利要求1所述的面向任务连通性保持的网络拓扑智能生成方法，其特征在于，计算所述无人机网络在下一时隙的连通分支数包括以下步骤：
3.根据权利要求2所述的面向任务连通性保持的网络拓扑智能生成方法，其特征在于，基于预设通信功率阈值和所述第一无人机节点与所述第二无人机节点在下一时隙的距离，确定所述第一无人机节点与所述第二无人机节点在下一时隙的邻接关系，包括：
4.根据权利要求1所述的面向任务连通性保持的网络拓扑智能生成方法，其特征在于，所述目标多智能体强化学习模型为目标actor-critic网络中的目标actor网络，所述目标actor网络包括：多个目标策略网络；所述方法还包括：
5.根据权利要求4所述的面向任务连通性保持的网络拓扑智能生成方法，其特征在于，
6.根据权利要求5所述的面向任务连通性保持的网络拓扑智能生成方法，其特征在于，所述critic网络和所述target-critic网络均采用双Q网络；
7.根据权利要求6所述的面向任
8.一种面向任务连通性保持的网络拓扑智能生成装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的面向任务连通性保持的网络拓扑智能生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现权利要求1至7中任一项所述的面向任务连通性保持的网络拓扑智能生成方法。
...【技术特征摘要】
1.一种面向任务连通性保持的网络拓扑智能生成方法，其特征在于，包括：
2.根据权利要求1所述的面向任务连通性保持的网络拓扑智能生成方法，其特征在于，计算所述无人机网络在下一时隙的连通分支数包括以下步骤：
3.根据权利要求2所述的面向任务连通性保持的网络拓扑智能生成方法，其特征在于，基于预设通信功率阈值和所述第一无人机节点与所述第二无人机节点在下一时隙的距离，确定所述第一无人机节点与所述第二无人机节点在下一时隙的邻接关系，包括：
4.根据权利要求1所述的面向任务连通性保持的网络拓扑智能生成方法，其特征在于，所述目标多智能体强化学习模型为目标actor-critic网络中的目标actor网络，所述目标actor网络包括：多个目标策略网络；所述方法还包括：
5.根据权利要求4所述的面向任务连通性保持的网络拓扑智能生成方法，...
【专利技术属性】
技术研发人员：姚海鹏，霍清豫，买天乐，许书彬，王晓云，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。