【技术实现步骤摘要】
本专利技术涉及车联网通信技术、多智能体协同，尤其涉及一种在c-v2x场景下基于分层群体智能的多智能体消息广播协同系统和方法。
技术介绍
1、车联网(vehicular ad-hoc networks，vanets)是一种面向车辆之间或车辆与道路基础设施之间的无线通信技术，旨在提高交通安全、交通效率和车辆乘客的舒适性。这种网络结构使车辆能够相互通信，传递信息并与周围环境进行连接。车联网具有实时性和即时通信的能力、自组网能力、基础设施支持，因此允许通过实时信息交换支持交通安全应用、智能车辆导航系统以及提高驾驶体验的车内娱乐和信息服务，例如实时流媒体、语音控制功能等，同时通过收集车辆位置、速度和路况等信息进行智能交通信号控制和交通拥堵管理。
2、车载通信(c-v2x)是自动驾驶的关键技术。它使实时信息共享能够实现协同感知和控制，支持智能网联汽车所需的服务，包括数字孪生渲染、导航、基于ar/vr的驾驶辅助和感知数据共享等，这些服务对延迟敏感且计算密集，对车辆提出了更严格的要求。最近，异构蜂窝网络(hetnets)已被引入c-v2x中，以向车辆提供无处不在的覆盖和高传输速率。基于c-v2x的车联网通信技术(cellular vehicle-to-everything)继承移动蜂窝网技术的优势，较传统dsrc(dedicated short range communication,dsrc)技术在覆盖范围、时延、移动性管理及抗干扰算法等方面发展更为成熟。随着网络中流量的激增，可以利用不同类型的基站，例如宏基站、小基站，来进一步提
3、5g网络不再局限于人和人之间的通信，而是为了提供“万物互联”的服务，是具有高速率、低时延和广连接特点的新一代宽带移动通信技术。根据用户需求的不同，可以划分出三大应用场景，分别是embb(增强型移动宽带)、urllc(高可靠低延时通信)和mmtc(海量机器通信)。在资源分配过程中的消息广播系统需要考虑到不同的需求。因此引入了用来支持不同服务的切片概念，提供按需定制和稳定高效的网络服务。
4、目前一些将多智能体系统应用在车联网通信场景的技术存在如下问题。
5、参考文献1(中国专利技术专利，公开号cn109617968a，公开日2019.4.12)公开了一种多智能体协作系统及其智能体、智能体间的通信方法。现有技术进行多智能体协作通信时，需要智能体从第二智能体处接收的协作消息和环境状态得到动作和通信对象主动生成自身协作消息，从而向通信对象发送第一协作消息。参考文献1中，第一智能体通过经强化学习训练的深度神经网络对接收的第二协作消息和从环境中获取的状态进行处理，得到第一智能体执行的动作和通信对象，第二协作消息由至少一个第二智能体发送；根据第二协作消息和状态得到第一协作消息，发送向通信对象，通信对象包括至少一个第二智能体。参考文献1避免了多智能体协作系统中各智能体间通信时过高的通信负荷，降低了通信开销，加强了载有协作消息信号传输的针对性。但参考文件1中，多智能体通过通信进行协同的过程中需要首先获取其他智能体发送的协作消息，得到通信对象，再向通信对象发送自身协作消息，在此过程中，多智能体之间的通信行为缺乏一定的自发性和实时性，同时只能根据局部观测信息做出决策，导致智能体之间缺乏高效的信息交流，影响全局回报。
6、参考文献2(中国专利技术专利，公开号cn113435475a，公开日2021.9.24)公开了一种多智能体通信协作方法，包括：构建智能体并设定智能体的属性和规则，调用或构建智能体的运动环境；构建智能体通信信道，根据各智能体t时刻传来的信息m为各智能体生成消息c并发送给各智能体；对于任意一个智能体i，以局部观察和消息为输入，输出智能体i的动作策略和交流消息；智能体的运动环境基于智能体决策和交流框架采样得到数据并行训练n个智能体，以达到最大化团队奖励的目标。参考文献2增加了内部动机模块，对原有方法忽略内在价值的缺陷是一个很好的补充。但参考文献2中，智能体通信信道根据各时刻智能体传来的信息生成消息并发送给各智能体，多智能体通信协同过程中没有充分考虑多智能体通信信道的资源限制和物理特性。在通信带宽受限的情况下，将会导致智能体间低效甚至没有交流，对智能体的决策产生障碍。而如果智能体数量过多，则可能发生维度爆炸，计算复杂度大幅增加。
7、参考文献3(中国专利技术专利申请，公开号cn115048973a，公开日2022.9.13)公开了一种基于多智能体系统的深度强化学习方法，应用在具有较多智能体的多智能体系统中，每个独立的智能体根据触发条件与合作的智能体构成通信组，建立双向的lstm模型，并整合每个通信组中所有智能体的信息，促成协作决策，在由共同智能体的通信组之间建立通道进行连接。该方案避免将没有价值的信息带入系统中，降低了系统的运算量，极大地增加了通信的速率。但该方案在邻居数量较多的环境下，难以有针对性地根据当前状态整合邻居信息，过多冗余信息反而导致难以做出当前最优决策。此外，智能体需要首先判断观测范围内的邻居能否合作，面对邻居剧烈变化或数量多的情况下选择的环节时间延长，导致整个方案的实时性和效率降低。
8、参考文献4(中国专利技术专利申请，公开号cn115906929a，公开日2023.4.4)公开了一种基于注意力机制的思考型协同多智能体的通信方法，构建不同环境下的任务，并设定多智能体系统奖励函数；通过编码网络得到智能体的观察信息；通过行为网络得到智能体的动作信息；通过评价网络对不同智能体的行为策略进行打分；多智能体之间进行第一轮注意力通信交互；多智能体之间进行信息融合与第二轮通信：将多智能体输出的动作与环境进行交互；智能体通过评价网络接收信息，并输出打分同时通过反向传播先对评价网络进行更新，再对行为网络更新。该方案增加记忆模块并且对注意力信息和记忆信息进行融合，价值更高的新消息送到行为网络中进行训练并且在下一时刻发送到其他智能体，从而形成了一种思考机制。但是该方案中，智能体需本文档来自技高网...
【技术保护点】
1.一种基于分层群体智能的消息广播系统，将车辆和基站作为异构的智能体，其特征在于，该系统包括部署在边缘云上的集中式环境状态认知模块，部署在每个车辆智能体上的V2V混合资源分配模块，以及为每个小基站智能体设置的分布式资源分配模块；V2V表示车-车；
2.一种基于分层群体智能的消息广播方法，其特征在于，包括如下步骤：
3.根据权利要求1所述的方法，其特征在于，所述的步骤1中，采用option-critic结构的选项分层强化学习算法构造分布式资源分配模块，构建上层的切片策略指导网络以基站观测状态和下层的本地决策网络的值函数作为输入，输出基站的切片策略；其中基站的观测状态包含基站连接的V2I链路剩余数据包大小、剩余发送时间，以及全局信道资源块分配情况、信道状态；
【技术特征摘要】
1.一种基于分层群体智能的消息广播系统，将车辆和基站作为异构的智能体，其特征在于，该系统包括部署在边缘云上的集中式环境状态认知模块，部署在每个车辆智能体上的v2v混合资源分配模块，以及为每个小基站智能体设置的分布式资源分配模块；v2v表示车-车；
2.一种基于分层群体智能的消息广播方法，其特征在于，包括如下步骤：
3....
【专利技术属性】
技术研发人员：袁泉，罗贵阳，李静林，魏晓娟，冯奕瑄，蔡昕恬，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。