多智能体协同规划方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及多智能体协同规划技术领域，特别涉及一种多智能体协同规划方法、装置、电子设备及存储介质，其中，方法包括：采集中心智能体和对应目标点之间的相对位置；基于相对位置，利用预设的图神经网络对至少一个近邻智能体或中心智能体进行定向采样，获取定向采样结果，其中，图神经网络由CNN、TOKF

【技术实现步骤摘要】
多智能体协同规划方法、装置、电子设备及存储介质


[0001]本申请涉及多智能体协同规划
，特别涉及一种多智能体协同规划方法、装置、电子设备及存储介质。

技术介绍

[0002]多智能体系统起源于从上世纪80年代，多智能体协同规划是多智能体系统中的一个重要分支，它可以被定义为“一组智能体之间的联合操作或行动”，这是多智能体系统处理各种实际任务时必不可少的能力。近年来，多智能体协同规划领域的研究引起了人们的广泛关注并取得了显着进展，协作多智能体规划具有许多实际应用，比如军事领域中的无人机群协同作战，多弹头导弹联合突防等，比如民生领域，物流仓储协、交通控制等。
[0003]在实际应用场景中，环境信息往往都是部分可知或完全未知，且智能体感知和通信范围也是受限的，因此，多智能体协同规划问题的一个研究难点和重点就是智能体之间的信息共享问题，问题的关键就在于如何共享信息、共享哪些信息。由于智能体之间的通信网络可看作是一张非欧数据图，而图神经网络方法既能够聚合网络中复杂的结构信息，同时又能囊括丰富的属性信息，为解决信息共享问题提供了一种可行方案。

技术实现思路

[0004]本申请提供一种多智能体协同规划方法、装置、电子设备及存储介质，以解决信息部分可知情况下对近邻智能体进行定向采样信息的问题，根据中心智能体和目标点的相对位置，对朝向目标点区域的近邻智能体进行定向采样，提高训练的效率和稳定性。
[0005]本申请第一方面实施例提供一种多智能体协同规划方法，包括以下步骤：
[0006]采集中心智能体和对应目标点之间的相对位置；
[0007]基于所述相对位置，利用预设的图神经网络对至少一个近邻智能体或所述中心智能体进行定向采样，获取定向采样结果，其中，所述图神经网络由CNN(Convolutional Neural Networks，卷积神经网络)、TOKF
‑
GraphSAGE和MLP(Multilayer Perceptron，全连接神经网络)复合构建；以及
[0008]利用所述预设的图神经网络由所述定向采样结果采样聚合为面向任务的多智能体的最佳协同动作。
[0009]可选地，所述利用预设的图神经网络对至少一个近邻智能体或所述中心智能体进行定向采样，包括：
[0010]获取由所述相对位置确定用于采样的至少一个近邻智能体或所述中心智能体的感知图像；
[0011]从所述感知图像中提取所述至少一个近邻智能体或所述中心智能体的环境特征；
[0012]将所述环境特征输入至TOKF
‑
GraphSAGE中，分别以所述至少一个近邻智能体或所述中心智能体中每一个智能体为中心，对朝向对应目标点方向的至少一个近邻智能体或所述中心智能体进行信息采样和聚合，得到当前智能体面向任务的知识融合结果；
[0013]将所述知识融合结果输入至MLP中，映射为基于概率分布的动作策略，得到所述至少一个近邻智能体或所述中心智能体在任一时刻的预测动作。
[0014]可选地，所述将所述环境特征输入至TOKF
‑
GraphSAGE中，分别以所述至少一个近邻智能体或所述中心智能体中每一个智能体为中心，对朝向对应目标点方向的至少一个近邻智能体或所述中心智能体进行信息采样和聚合，得到当前智能体面向任务的知识融合结果，包括：
[0015]由所述环境特征生成N个高维向量，其中，所述N为正整数；
[0016]将所述N个高维向量和所述一个或多个智能体的实际状态信息得到所述每个智能体的共享知识；
[0017]聚合所述一个或多个智能体的共享知识，得到所述知识融合结果。
[0018]可选地，所述聚合所述一个或多个智能体的共享知识，包括：
[0019]根据所述相对位置确定朝向目标点区域和背对目标点区域；
[0020]基于所述朝向目标点区域和背对目标点区域确定所述一个或多个智能体的相关系数；
[0021]根据所述一个或多个智能体的相关系数聚合所述一个或多个智能体的共享知识。
[0022]可选地，所述朝向目标点区域内的智能体的相关系数大于所述背对目标点区域的智能体的相关系数。
[0023]本申请第二方面实施例提供一种多智能体协同规划装置，包括：
[0024]采集模块，用于采集中心智能体和对应目标点之间的相对位置；
[0025]获取模块，用于基于所述相对位置，利用预设的图神经网络对至少一个近邻智能体或所述中心智能体进行定向采样，获取定向采样结果，其中，所述图神经网络由CNN、TOKF
‑
GraphSAGE和MLP复合构建；以及
[0026]规划模块，用于利用所述预设的图神经网络由所述定向采样结果采样聚合为面向任务的多智能体的最佳协同动作。
[0027]可选地，所述获取模块，具体用于：
[0028]获取由所述相对位置确定用于采样的至少一个近邻智能体或所述中心智能体的感知图像；
[0029]从所述感知图像中提取所述至少一个近邻智能体或所述中心智能体的环境特征；
[0030]将所述环境特征输入至TOKF
‑
GraphSAGE中，分别以所述至少一个近邻智能体或所述中心智能体中每一个智能体为中心，对朝向对应目标点方向的至少一个近邻智能体或所述中心智能体进行信息采样和聚合，得到当前智能体面向任务的知识融合结果；
[0031]将所述知识融合结果输入至MLP中，映射为基于概率分布的动作策略，得到所述至少一个近邻智能体或所述中心智能体在任一时刻的预测动作。
[0032]可选地，所述获取模块，具体用于：
[0033]由所述环境特征生成N个高维向量，其中，所述N为正整数；
[0034]将所述N个高维向量和所述一个或多个智能体的实际状态信息得到所述每个智能体的共享知识；
[0035]聚合所述一个或多个智能体的共享知识，得到所述知识融合结果。
[0036]可选地，所述获取模块，具体用于：
[0037]根据所述相对位置确定朝向目标点区域和背对目标点区域；
[0038]基于所述朝向目标点区域和背对目标点区域确定所述一个或多个智能体的相关系数；
[0039]根据所述一个或多个智能体的相关系数聚合所述一个或多个智能体的共享知识。
[0040]可选地，所述朝向目标点区域内的智能体的相关系数大于所述背对目标点区域的智能体的相关系数。
[0041]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的多智能体协同规划方法。
[0042]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现上述的多智能体协同规划方法。
[0043]由此，采集中心智能体和目标点之间的相对位置，并基于相对位置，利用预设的图神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多智能体协同规划方法，其特征在于，包括以下步骤：采集中心智能体和对应目标点之间的相对位置；基于所述相对位置，利用预设的图神经网络对至少一个近邻智能体或所述中心智能体进行定向采样，获取定向采样结果，其中，所述图神经网络由CNN、TOKF
‑
GraphSAGE和MLP复合构建；以及利用所述预设的图神经网络由所述定向采样结果采样聚合为面向任务的多智能体的最佳协同动作。2.根据权利要求1所述的方法，其特征在于，所述利用预设的图神经网络对至少一个近邻智能体或所述中心智能体进行定向采样，包括：获取由所述相对位置确定用于采样的至少一个近邻智能体或所述中心智能体的感知图像；从所述感知图像中提取所述至少一个近邻智能体或所述中心智能体的环境特征；将所述环境特征输入至TOKF
‑
GraphSAGE中，分别以所述至少一个近邻智能体或所述中心智能体中每一个智能体为中心，对朝向对应目标点方向的至少一个近邻智能体或所述中心智能体进行信息采样和聚合，得到当前智能体面向任务的知识融合结果；将所述知识融合结果输入至MLP中，映射为基于概率分布的动作策略，得到所述至少一个近邻智能体或所述中心智能体在任一时刻的预测动作。3.根据权利要求2所述的方法，其特征在于，所述将所述环境特征输入至TOKF
‑
GraphSAGE中，分别以所述至少一个近邻智能体或所述中心智能体中每一个智能体为中心，对朝向对应目标点方向的至少一个近邻智能体或所述中心智能体进行信息采样和聚合，得到当前智能体面向任务的知识融合结果，包括：由所述环境特征生成N个高维向量，其中，所述N为正整数；将所述N个高维向量和所述一个或多个智能体的实际状态信息得到所述每个智能体的共享知识；聚合所述一个或多个智能体的共享知识，得到所述知识融合结果。4.根据权利要求3所述的方法，其特征在于，所述聚合所述一个或多个智能体的共享知识，包括：根据所述相对位置确定朝向目标点区域和背对目标点区域；基于所述朝向目标点区域和背对目标点区域确定所述一个或多个智能体的相关系数；根据所述一个或多个智能体的相关系数聚合所述一个或多个智能体的共享知识。5.根据权利要求4所述的方法，其特征在于，所述朝向目标点区域内的智能体的相关系数大于所述背对目标点区域的智能体的相关系数。6.一种多智能体协同规划装置，其特征在于，包括：采集模块，用于采...

【专利技术属性】
技术研发人员：芦维宁，戴汉奇，陈章，杨君，梁斌，
申请(专利权)人：清华大学，
类型：发明
国别省市：