一种边缘智能驱动的无线多跳网络信道资源优化方法技术

本发明专利技术涉及无线网络通信领域，涉及一种边缘智能驱动的无线多跳网络信道资源优化方法；所述方法包括将系统时间划分为多个连续的超帧，每个超帧包括控制周期和数据传输周期；在控制周期内，所有无线节点工作在同一信道以获取或传输控制消息，并按照集中式学习者反馈的模型参数配置出本地信道分配决策模型进行信道分配；在数据传输周期内，需进行数据传输的无线节点根据基于接入编号的自适应休眠唤醒机制被唤醒，按照交错调度机制将数据在从K个非重叠信道中选择的信道上进行并行数据传输；本发明专利技术将边缘计算与深度强化学习算法相结合，在保证低功耗、低时延、高准确率和隐私安全性的同时，使资源受限的终端节点拥有执行智能算法的能力。法的能力。法的能力。

【技术实现步骤摘要】
一种边缘智能驱动的无线多跳网络信道资源优化方法


[0001]本专利技术涉及无线网络通信领域，具体而言，涉及一种边缘智能驱动的无线多跳网络信道资源优化方法。

技术介绍

[0002]随着无线通信技术的飞速发展，无线多跳通信技术已广泛应用于住宅、商业和公共服务等领域，已经渗透到人们生活和工作的方方面面，发挥着越来越重要的作用。无线多跳网络技术作为物联网(Internet of Things,IoT)的主要底层支撑技术近年来引起了学术界和工业界广泛的关注。与传统的有线监控系统相比，无线网络具有自配置、自组织的特点，在降低部署成本、增强灵活性等方面具有巨大的潜力，已广泛应用于工业自动化、物流、智能城市、医疗卫生等复杂的工业应用领域。随着无线终端节点的爆炸式增长，传统的单信道部署已无法满足端到端时延和高可靠性数据传输的要求，无法保证系统健壮性和网络性能。
[0003]多信道通信技术作为一种极具潜力的解决方案可有效地缓解节点之间的干扰，并提高数据传输的可靠性，目前已被广泛应用于各种无线网络体系结构中。然而，多信道技术的应用在提高网络容量的同时，也对多跳无线网络中信道分配算法的设计带来了新的挑战。大量专家学者针对多信道分配算法进行了深入研究，旨在降低节点间的干扰和优化信道利用率，包括基于专用信道分配、并行信道协商机制和基于伪随机序列跳频的信道分配算法。然而，这些算法需要频繁的信道协商和信道切换，并且在高负载情况下，未进一步考虑多跳网络中信道资源利用不合理和节点的能耗问题。
[0004]采用休眠
‑
唤醒机制能够有效解决网络中的能耗问题，缩小有限的能源供应和应用寿命之间的差距，而节点休眠是保存能耗的最佳途径。在休眠模式中，节点关闭无线电，进入休眠状态已保存能量。然而休眠时间过长则可能无法实现实时数据传输；休眠时间太短会导致节点收发机频繁切换。因此，如何设置休眠时间成为关键。目前，大多数休眠策略是静态(即节点采用固定休眠时间)，或需要收发节点进行频繁的控制消息交互，这些策略没有充分考虑动态环境问题和节点剩余能量约束等问题，不能实现最优的休眠唤醒策略尤其是在动态且复杂的网络环境中。因此，设计自适应、低开销的休眠唤醒机制是进一步延长网络寿命实现低功耗数据传输的有效途径。
[0005]强化学习(reinforcement learning,RL)是机器学习的重要分支之一，通过智能体(Agent)与环境进行交互：Agent根据其当前状态选择相应的动作，环境将相应的奖励值反馈给Agent以进一步指导Agent的行动。因此，Agent根据观察到的信息调整策略，直到智能体的策略接近最佳策略为止。传统的RL算法不能解决大规模的状态和动作空间中的决策问题。DRL引入深度神经网络(Deep Neural Networks,DNNs)从原始数据中提取特征来逼近行为值函数来实现在大规模网络环境下状态到行为的映射。尽管DNN已经改善了提高RL在复杂环境下的学习能力，但由于多跳无线网络中节点的部分可观测特性，训练多个分布式DRL智能体仍然是不可行尤其是在对于高维的状态空间场景下。而异步优势演员批评家网
络(A3C)采用异步训练框架来优化网络结构，打破了经验之间的相关性的同时，提高了网络收敛速度。然而，其不能直接部署在只有一个CPU的无线终端节点上。此外，考虑到有些无线终端设备，如传感器节点，由于其有限的计算能力、能量和存储能力，无法完成高级应用的计算任务。此外无线终端设备在计算、能量和性能上都有一定的局限性这导致其在运行计算密集型任务时性能较差。
[0006]目前，针对信道分配算法的研究主要包括：基于静态信道分配、基于动态信道分配和基于混合信道分配方法。静态信道分配是指节点一旦分配完信道后就基本保持不变，或者在较长时间间隔才进行信道切换。基于静态信道的分配算法仅适用于网络拓扑稳定的场景，对于动态变化的网络拓扑场景，静态信道分配算法并不能达到很好的效果。而动态信道分配方案允许节点基于网络状态分布式切换信道以解决动态网络拓扑问题。因此，基于动态信道的分配方案的信道分配算法虽然能够根据网络的实时情况变换信道，增强了算法的灵活性。但是，频繁的信道切换对节点间的协作问题带来了新的挑战，此外，也对增加网络延迟，致使网络获取消息滞后，导致信道分配性能低下。混合信道的分配方法结合了静态信道分配和动态信道分配算法，既具备静态信道分配算法的易实现性又有动态信道分配方案的灵活性。此外，随着计算技术的飞速发展，越来越多基于群体智能的信道分配算法也随之出现，这些智能的信道分配方案实现了更好的网络性能。上述基于网络拓扑、干扰图、伪随机码的信道分配算法大多只关注频域上的信息。然而，在无线多跳网络中特定信道上的隐藏终端和暴露终端问题，以及无线多跳网络中的能耗问题不可忽略。
[0007]此外，针对低功耗的休眠唤醒机制，专利CN105025585A公开了一种基于多址接入方法，其整个系统时间划分为多个信标周期，在信标周期的第一个时段内所有终端设备进入唤醒状态并侦听网关设备发送的预约消息以通知控制消息；此后，所有终端设备进入休眠状态，与预约消息的传输相应的终端设备在所预约的传输时间独立地唤醒旨在构建低成本、低功耗、低延迟、大规模、高效率的网络。然而该专利没有考虑到单射频多信道无线多跳网络中的干扰问题，并且在大规模网络部署场景下可能会带来很大的数据传输延时。

技术实现思路

[0008]为克服现有技术中的不足，本专利技术提供了一种边缘智能驱动的无线多跳网络信道资源优化方法，其将整个系统时间划分为多个连续的超帧。每个超帧包括控制周期和数据传输周期，其中控制周期和数据传输周期的长度随网络环境自适应优化：在控制周期内，所有的无线节点工作在同一信道以获取或传输相关控制消息，并且在每个控制周期，所述无线节点基于本地信道分配决策模型实现分布式的信道分配。而在数据传输周期内，系统提供K个非重叠的数据子信道以支持并行数据传输，同时采用交错调度机制解决了单射频多信道无线多跳网络数据传输中的消失节点问题；此外，设计基于接入编号的自适应休眠唤醒机制进一步优化数据传输可靠性和能耗问题。本专利技术进一步分析了信道分配和休眠机制之间的相互关系，并提出一种信道分配和休眠机制进行联合优化以进一步降低网络中的干扰和数据冲突，提高信道的利用率和系统吞吐量，以保证无线节点之间数据业务传输的可靠性。
[0009]相对于现有技术而言，本专利技术具有以下有益效果：
[0010]本专利技术提出一种边缘智能驱动的无线多跳网络信道资源优化方法，将边缘计算与
深度强化学习算法相结合，在保证低功耗、低时延、高准确率和隐私安全性的同时，使资源受限的终端节点拥有执行智能算法的能力。本专利技术提出的基于DDPG的异步深度强化学习模型，采用分布式交互和集中式训练来解决资源受限的终端智能化信道分配问题。此外，相比传统的深度强化学习模型，本专利技术所采用的异步深度强化学习模型能够提供更加多样的经验以此加速了模型收敛，此外，该模型适用于动态网络场景，具有较强的可扩展性；因此，在控制周期，将信道分配决策模型下沉到无线节点的终端进行部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘智能驱动的无线多跳网络信道资源优化方法，其特征在于，所述方法包括：将系统时间划分为多个连续的超帧，每个超帧包括控制周期和数据传输周期；在控制周期内，所有无线节点工作在同一信道以获取或传输控制消息，并按照边缘服务器即集中式学习者反馈的模型参数配置出本地信道分配决策模型进行信道分配；在数据传输周期内，需进行数据传输的无线节点根据基于接入编号的自适应休眠唤醒机制被唤醒，按照交错调度机制将数据在从K个非重叠信道中选择的数据信道上进行并行数据传输；其中，每个无线节点异步地在数据传输周期与环境进行分布式交互，获取无线多跳网络的环境反馈，并将环境反馈和状态动作信息即经验信息传输给集中式学习者；所述集中式学习者利用所述经验信息进行集中式模型训练，并更新信道分配决策模型，定期向无线节点反馈更新后的模型参数。2.根据权利要求1所述的一种边缘智能驱动的无线多跳网络信道资源优化方法，其特征在于，所述超帧还包括信标帧，所述超帧随网络环境由集中式控制器进行自适应优化，并通过所述信标帧将优化后的参数发送给所有的无线节点。3.根据权利要求1所述的一种边缘智能驱动的无线多跳网络信道资源优化方法，其特征在于，所述基于接入编号的自适应休眠唤醒机制包括按照无线节点的入网顺序及其父节点所对应的子节点总数确定出当前无线节点在当前数据传输周期可接入信道的所有微时隙编号集合；当前无线节点根据本地计数器、缓冲区队列数和信道接入微时隙编号集合，在特定的微时隙决定是否唤醒并进行数据传输。4.根据权利要求3所述的一种边缘智能驱动的无线多跳网络信道资源优化方法，其特征在于，当前无线节点在当前数据传输周期可接入信道的所有微时隙编号集合的确定方式表示为：B
o
＝{b
o
+R
n
*n
f
}其中，B
o
表示当前无线节点在当前数据传输周期可接入信道的所有微时隙编号集合；b
o
表示当前无线节点的父节点会为其每个子节点分配一个唯一的信道接入编号集合，b
o
∈[1...

【专利技术属性】
技术研发人员：尚凤军，王颖，雷建军，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：