System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于边缘计算的AI模型协同更新方法及系统技术方案_技高网

一种基于边缘计算的AI模型协同更新方法及系统技术方案

技术编号:43551959 阅读:21 留言:0更新日期:2024-12-03 12:35
本发明专利技术涉及一种基于边缘计算的AI模型协同更新方法及系统,属于物联网技术领域。其中,该方法包括:采集物联数据和视频流数据,通过标签信息库进行信息标注并组成本地数据集;边缘节点根据园区应用服务将AI模型广播至终端设备;终端设备计算AI模型的局部更新参数,通过调度框架计算终端设备对应的权重指标并上传至边缘节点;边缘节点根据权重指标和信道状态构建资源匹配终端序列并进行带宽资源分配;终端设备若接收到梯度上传指令,则通过多址接入信道将局部更新参数上传至边缘节点中;边缘节点根据接收的局部更新参数计算全局梯度,根据全局梯度对AI模型进行更新。提升了终端设备管理系统应对异构管理和通信效率低下的能力。

【技术实现步骤摘要】

本专利技术属于物联网,具体涉及一种基于边缘计算的ai模型协同更新方法及系统。


技术介绍

1、随着城市化进程的加速,传统园区面临着管理效率低、资源浪费严重等问题;园区涉及的设备设施体量巨大、结构类型复杂,在进行实时监控及运维管理时,由于设备协议复杂,导致部署不易实现,服务器堆叠浪费资源,系统鲁棒性差;园区管理系统的线上数据管理难以维护,现有的企业信息管理系统无法有效支持园区的运营管理,存在严重的信息孤岛效应;

2、随着人工智能的发展,园区终端设备通过内置ai算法和硬件支持,执行复杂任务并提供智能化服务,将人工智能模型的训练和推理能力推向网络边缘,从而提供超低时延和高可靠性的人工智能服务。这些终端设备通常采用边缘计算技术,将数据处理工作从云端转移到本地终端,以减少网络延迟和带宽消耗;ai技术涵盖了人员管理、车辆管理、能源管理、安防管理等多个方面。通过部署前端摄像头连接边缘计算盒子,园区利用ai视频分析技术对人员行为、环境等进行实时监控和管理,通过与物联网(iot)相结合,实现园区内各类设备和系统的互联互通,从而提升数据集成和建模能力,驱动业务流程的智能化、可视化和实时控制。然而在数据采集方面,终端设备通常随机地分布在无线边缘网络中,其生成或采集的数据与所处环境高度相关,因而跨终端的数据往往服从非独立同分布,不同终端设备将拥有不同数量的数据样本,且跨终端的数据类别和数据特征也将存在很大差异;终端设备和边缘服务器的计算和存储资源有限,因而只能完成局部性、短周期业务的处理和分析大大增加了ai算法在问题建模、理论分析和实际部署方面的复杂度,并对模型性能产生了极大的影响;ai模型的训练过程以及终端设备与边缘服务器的通信开销巨大,整个系统的通信时延随着终端的数量增加而增大,因此,面向终端设备管理在面对异构管理和通信效率问题方面需要重新设计。


技术实现思路

1、为解决现有技术中存在的上述问题,本专利技术提供了一种基于边缘计算的ai模型协同更新方法及系统,本专利技术的目的可以通过以下技术方案实现:

2、s1:通过园区中终端设备的数据采集子系统采集物联数据和视频流数据,通过标签信息库对所述物联数据和视频流数据进行信息标注并组成本地数据集;边缘节点根据接收的园区应用服务将对应的ai模型广播至所述终端设备;

3、s2:所述终端设备基于所述本地数据集计算所述ai模型损失函数的局部更新参数,通过调度框架和所述局部更新参数计算所述终端设备对应的权重指标并上传至所述边缘节点;

4、s3:所述边缘节点根据所述终端设备的所述权重指标和信道状态构建资源匹配终端序列,所述边缘节点根据所述资源匹配终端序列进行带宽资源分配,通过控制信道向所述资源匹配终端序列对应的终端设备发送梯度上传指令;

5、s4:所述终端设备若接收到所述梯度上传指令,则通过多址接入信道将所述局部更新参数上传至所述边缘节点中;所述边缘节点根据接收的所述局部更新参数计算全局梯度,根据所述全局梯度对所述ai模型进行更新。

6、具体地,所述终端设备的本地数据集独立统计,所述局部更新参数为所述终端设备与所述边缘节点周期性低交互本地计算与全局聚合所得的梯度,计算公式为:

7、,

8、其中, g k为局部更新参数, b k为第 k个终端设备从本地数据集中随机选取的数据, s k为 b k包含的训练样本个数, l为局部损失函数, w为共同训练的ai模型,( x, y)为样本特征和标签,∇为梯度算子;

9、所述权重指标为在单轮通信中所述调度框架在最优调度策略下的边缘节点选取终端设备上传所述局部更新参数的数学期望与对应终端设备的局部损失函数的差值;所述资源匹配终端序列为根据终端设备的信道传输速率、计算能力以及所述权重指标分配给所述终端设备的时隙资源:

10、,

11、其中, u k为边缘节点分配给所述终端设备资源, r k为信道传输速率, q为局部更新参数的梯度元素量化位数, n为局部更新参数的元素个数, m为所有边缘计算节点和回程链路通信容量的比值, s为单轮通信下边缘节点与终端设备的训练样本批次大小, c为权重指标, s new为调度框架下最优训练样本批次大小, v k为样本训练速率, t为单轮通信端到端时延;

12、所述全局梯度为所述边缘节点在预设的通信周期内接收到所有局部更新参数后生成的平衡参数,计算公式为:

13、,

14、其中, g为全局梯度, g k为局部更新参数, s k为训练样本个数, k为终端设备总数, k为终端设备计数;

15、所述边缘节点和所述终端设备共同对所述ai模型训练更新,所述终端设备根据所述本地数据集训练所述ai模型的局部损失函数为:

16、,

17、其中,w为共同训练的ai模型, loss k( w)表示ai模型在第 k个终端设备上的局部损失, n k为本地数据集参与训练的样本数量, i为训练样本计数,为第 i个样本的特征,为第 i个样本的样本标签。

18、具体地,所述终端设备采用正交频分多址技术共享系统带宽,所述边缘节点占用整个系统带宽广播ai模型。

19、具体地,所述调度框架通过所述终端设备的信道状态和梯度散度执行最优调度策略,所述最优调度策略的目标函数为:

20、,

21、其中,e表示数学期望, ρ为平衡权重因子,为被选择的终端设备 本文档来自技高网...

【技术保护点】

1.一种基于边缘计算的AI模型协同更新方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述终端设备的本地数据集独立统计,所述边缘节点和所述终端设备共同对所述AI模型训练更新。

3.根据权利要求1所述的方法,其特征在于,所述终端设备采用正交频分多址技术共享系统带宽,所述边缘节点占用整个系统带宽广播AI模型。

4.根据权利要求1所述的方法,其特征在于,所述调度框架通过所述终端设备的信道状态和梯度散度执行最优调度策略。

5.根据权利要求4所述的方法,其特征在于,所述终端设备的通信时延由所述局部更新参数的计算时延、传输时延和模型广播时延组成。

6.根据权利要求5所述的方法,其特征在于,所述边缘节点根据所述终端设备的局部更新参数对全局模型的梯度散度在计算全局梯度时对所述局部更新参数进行缩放。

7.一种基于边缘计算的AI模型协同更新系统,用于执行如权利要求1-6任一所述方法,其特征在于,包括:全局广播模块、局部计算模块、终端调度模块、模型更新模块;

8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6中任一所述的基于边缘计算的AI模型协同更新方法。

9.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的基于边缘计算的AI模型协同更新方法。

...

【技术特征摘要】

1.一种基于边缘计算的ai模型协同更新方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述终端设备的本地数据集独立统计,所述边缘节点和所述终端设备共同对所述ai模型训练更新。

3.根据权利要求1所述的方法,其特征在于,所述终端设备采用正交频分多址技术共享系统带宽,所述边缘节点占用整个系统带宽广播ai模型。

4.根据权利要求1所述的方法,其特征在于,所述调度框架通过所述终端设备的信道状态和梯度散度执行最优调度策略。

5.根据权利要求4所述的方法,其特征在于,所述终端设备的通信时延由所述局部更新参数的计算时延、传输时延和模型广播时延组成。

6.根据权利要求5所述的方法,其特征在于...

【专利技术属性】
技术研发人员:乔龙泉王子合
申请(专利权)人:上海数离信息科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1