本发明专利技术提供一种基于深度强化学习的作战体系通信系统架构设计方法、电子设备及存储介质。所述方法包括：采用多头注意力机制，生成体系中多个节点的静态嵌入向量，多个节点包括多个通信节点和多个系统节点；根据通信节点的静态嵌入向量和多个系统节点的静态嵌入向量，生成通信节点的最终静态嵌入向量；生成通信节点在t时刻的动态嵌入向量；根据通信节点的最终静态嵌入向量和t时刻的动态嵌入向量，生成通信节点在t时刻的嵌入向量；将每个通信节点的最终静态嵌入向量和t时刻的嵌入向量输入至解码器，得到t时刻选择的通信节点；将所有时刻选择的通信节点构成通信架构。本发明专利技术能够精确且快速地设计作战体系的通信架构，降低总体成本。本。本。
【技术实现步骤摘要】
基于深度强化学习的作战体系通信系统架构设计方法、电子设备及存储介质
[0001]本专利技术属于通信
，具体是涉及到一种基于深度强化学习的作战体系通信系统架构设计方法、电子设备及存储介质。
技术介绍
[0002]新时代作战任务的实现，高度依赖于战场环境中的指控系统、侦察监视系统以及打击系统等各类作战单元。这些作战单元被有机地组合为一个作战体系，来完成具体的使命任务，为了使作战体能够系有效地运行，体系设计人员需要对作战体系的通信架构进行详细的设计规划，以确保体系中的各作战单元能够进行有效的沟通和信息传递。然而，由于作战体系是处于一个动态和强对抗的运行环境中，导致作战体系的通信架构设计问题(System of Systems Communication Architecture Design,SoS
‑
CAD)成为了一个非常具有挑战性的问题。
[0003]SoS
‑
CAD问题的关键决策是如何从可用的候选通信装备集合中选择合适的通信装备来为作战体系中的作战单元提供通信服务。将SoS
‑
CAD问题建模为一个整数规划问题，并发现该问题可以被视为集合覆盖问题(Set Covering Problem，SCP)的一个变种问题，这同时也表明了SoS
‑
CAD问题也是一个组合优化问题，并且是NP
‑
Hard的问题。通常，用来解决SCP问题的方法主要分为三种，分别是精确求解方法、近似求解方法和元启发式方法。然而，由于以下原因，上述三种方法都不能很好的解决SoS
‑
CAD问题，1)由于体系的移动性、动态性以及可扩展性的限制，通常要求SoS
‑
CAD问题在面对大规模的体系时需要快速求解，而上述三种方法都不满足需求；2)由于作战体系中的通信装备成本普遍较高，因此在构建作战体系时通常更倾向于寻找一个在满足通信需求情况下的总体成本较低的通信架构设计方案，而近似算法和元启发式算法在面对大规模的问题时很难保证所求解的质量。
技术实现思路
[0004]本专利技术要解决的技术问题是提供一种基于深度强化学习的作战体系通信系统架构设计方法、电子设备及存储介质，能够精确且快速地构建体系的通信架构，降低总体成本。
[0005]本专利技术的内容包括一种基于深度强化学习的作战体系通信系统架构设计方法，包括：
[0006]采用多头注意力机制，生成所述体系中多个节点的静态嵌入向量，所述多个节点包括多个通信节点和多个系统节点；
[0007]根据每个通信节点的静态嵌入向量和所述多个系统节点的静态嵌入向量，生成所述每个通信节点的最终静态嵌入向量；
[0008]生成所述每个通信节点在t时刻的动态嵌入向量；
[0009]根据所述每个通信节点的最终静态嵌入向量和t时刻的动态嵌入向量，生成所述
每个通信节点在t时刻的嵌入向量；
[0010]将所述每个通信节点的最终静态嵌入向量和t时刻的嵌入向量输入至解码器，得到t时刻选择的通信节点；
[0011]将所有时刻选择的通信节点构成通信架构。
[0012]可选地，所述采用多头注意力机制，生成所述体系中多个节点的静态嵌入向量，包括：
[0013]生成所述体系中多个节点的初始嵌入向量；
[0014]采用多头注意力机制，并基于所述多个节点的初始嵌入向量，提取每个节点与其他节点的关系信息，得到所述每个节点的静态嵌入向量。
[0015]可选地，所述生成所述每个通信节点在t时刻的动态嵌入向量，包括：
[0016]确定t时刻之前每一时刻选择的通信节点，得到t时刻已选择通信节点；
[0017]确定所述每个通信节点的覆盖范围内未被所述t时刻已选择通信节点所覆盖的系统节点的数量；
[0018]根据所述系统节点的数量，生成所述每个通信节点在t时刻的动态嵌入向量。
[0019]可选地，所述将所述每个通信节点的最终静态嵌入向量和t时刻的嵌入向量输入至解码器，得到t时刻选择的通信节点，包括：
[0020]将所述每个通信节点的最终静态嵌入向量和t时刻的嵌入向量输入至解码器，以根据所述多个通信节点的最终静态嵌入向量，计算t时刻的query值；
[0021]根据所述t时刻的query值和每个通信节点在t时刻的嵌入向量，计算每个通信节点在t时刻的被选择概率；
[0022]将被选择概率最大的通信节点作为t时刻选择的通信节点。
[0023]可选地，所述解码器包括循环神经网络；
[0024]所述根据所述多个通信节点的最终静态嵌入向量，计算t时刻的query值，包括：
[0025]获取t
‑
1时刻所述循环神经网络的隐藏层状态，t＞1；
[0026]根据t
‑
1时刻隐藏层状态和t
‑
1时刻选择的通信节点的最终静态嵌入向量，计算t时刻所述循环神经网络的隐藏层状态；
[0027]根据t时刻隐藏层状态和所述多个通信节点的最终静态嵌入向量，计算t时刻的query值。
[0028]可选地，所述获取t
‑
1时刻所述循环神经网络的隐藏层状态，包括：
[0029]在t
‑
1＝1时，计算所述多个通信节点的最终静态嵌入向量的平均值；
[0030]根据所述平均值和预设参数，计算t
‑
1时刻所述循环神经网络的隐藏层状态。
[0031]可选地，所述根据所述t时刻的query值和每个通信节点在t时刻的嵌入向量，计算每个通信节点在t时刻的被选择概率，包括：
[0032]采用多头注意力机制，并根据所述t时刻的query值和每个通信节点在t时刻的嵌入向量，计算每个通信节点在t时刻的注意力值；
[0033]根据每个通信节点在t时刻的注意力值，计算每个通信节点在t时刻的被选择概率。
[0034]可选地，所述通信节点在t时刻的注意力值的计算公式为：
[0035][0036]其中，为通信节点c
i
在t时刻的注意力值，q
t
为t时刻的query值，为通信节点c
i
在t时刻的嵌入向量，为缩放因子，π
1～t
‑1为第1时刻至第t
‑
1时刻选择的通信节点，d
h
为嵌入向量的维数，M为多头注意力机制中的头数；
[0037]所述通信节点在t时刻的被选择概率的计算公式为：
[0038][0039]其中，为通信节点c
i
在t时刻的被选择概率，n为通信节点的个数。
[0040]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于深度强化学习的作战体系通信系统架构设计方法。
[0041]本专利技术还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度强化学习的作战体系通信系统架构设计方法，其特征是，包括：采用多头注意力机制，生成所述体系中多个节点的静态嵌入向量，所述多个节点包括多个通信节点和多个系统节点；根据每个通信节点的静态嵌入向量和所述多个系统节点的静态嵌入向量，生成所述每个通信节点的最终静态嵌入向量；生成所述每个通信节点在t时刻的动态嵌入向量；根据所述每个通信节点的最终静态嵌入向量和t时刻的动态嵌入向量，生成所述每个通信节点在t时刻的嵌入向量；将所述每个通信节点的最终静态嵌入向量和t时刻的嵌入向量输入至解码器，得到t时刻选择的通信节点；将所有时刻选择的通信节点构成通信架构。2.如权利要求1所述的基于深度强化学习的作战体系通信系统架构设计方法，其特征是，所述采用多头注意力机制，生成所述体系中多个节点的静态嵌入向量，包括：生成所述体系中多个节点的初始嵌入向量；采用多头注意力机制，并基于所述多个节点的初始嵌入向量，提取每个节点与其他节点的关系信息，得到所述每个节点的静态嵌入向量。3.如权利要求1所述的基于深度强化学习的作战体系通信系统架构设计方法，其特征是，所述生成所述每个通信节点在t时刻的动态嵌入向量，包括：确定t时刻之前每一时刻选择的通信节点，得到t时刻已选择通信节点；确定所述每个通信节点的覆盖范围内未被所述t时刻已选择通信节点所覆盖的系统节点的数量；根据所述系统节点的数量，生成所述每个通信节点在t时刻的动态嵌入向量。4.如权利要求1所述的基于深度强化学习的作战体系通信系统架构设计方法，其特征是，所述将所述每个通信节点的最终静态嵌入向量和t时刻的嵌入向量输入至解码器，得到t时刻选择的通信节点，包括：将所述每个通信节点的最终静态嵌入向量和t时刻的嵌入向量输入至解码器，以根据所述多个通信节点的最终静态嵌入向量，计算t时刻的query值；根据所述t时刻的query值和每个通信节点在t时刻的嵌入向量，计算每个通信节点在t时刻的被选择概率；将被选择概率最大的通信节点作为t时刻选择的通信节点。5.如权利要求4所述的基于深度强化学习的作战体系通信系统架构设计方法，其特征是，所述解码器包括循环神经网络；所述根据所述多个通信节点的最终静态嵌入向量，计算t时刻的query值，包括：获取t
‑
1时刻所述循环神经网络的隐藏层状态，t＞1；根据t
‑
1时刻隐藏层状态和t
【专利技术属性】
技术研发人员：陈涛，林萌龙，任棒棒，陈洪辉，张萌萌，张晓雪，徐成涛，刘俊先，罗爱民，舒振，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。