一种基于微容器云的边缘AI计算集群制造技术

本发明专利技术公开一种基于边缘微容器云的边缘AI计算集群，应用于边缘计算、人工智能、云计算及5G通讯技术领域，针对现有技术难以满足城市管理对数据的多模态、全时段、全目标、全背景、全跟踪、全认知及全域范围内(全城)数据的实时综合分析要求的问题；本发明专利技术通过构造边缘微容器集群、边缘AI计算集群，实现对计算任务进行自动拆分、合并，以最大限度地利用边缘集群的计算资源；同时以并行化的计算方式，极大提高了任务执行效率，并通过多层级云架构，实现在总云端可以实现对模型的集中式训练和分布式部署。

【技术实现步骤摘要】
一种基于微容器云的边缘AI计算集群
本专利技术属于边缘计算、人工智能、云计算及5G通讯
，特别涉及一种基于微容器云的边缘AI计算集群的构造技术。
技术介绍
随着平安城市、智慧交通、城市大脑对城市智能化管理程度的要求越来越高，使得监控摄像头和其他传感设备在城市边缘端部署也越来越密集，因此如何对这些边缘数据进行实时计算和智能分析，特别是对监控视频中出现的移动物体进行实时探测、识别、跟踪和认知等，已成为实现城市的精细化、智能化、精确化及敏捷化管理的紧迫需求。目前对边缘数据进行计算处理主要包括以下几种方式：一是使用边缘采集设备，利用其自身的计算能力，对特定数据进行处理。比如使用感应线圈对机动车闯红灯拍照、使用雷达对城市管道探测等，然而这种方式通常存在以下问题：其一为专有设备的硬件配置和计算能力通常是固化有限的，当硬件提供的计算能力不能满足边缘计算需求时，必须要更换新的设备，从而造成资源浪费和成本增加；其二为这种专有设备通常是事先预置好算法模型，而对于事先无法预置的算法模型，将难以实现算法模型的快速及实时更新；其三为这种专有设备通常是封闭并且不联网的，因此对于跨采集，跨设备的数据分析，将难以实现数据的实时共享、融合和对比分析。二是使用边缘专有计算设备，虽然边缘采用多核ARM处理器、多核GPU、多核DSP等，具备一定的计算能力，但因其本身仍是单设备，当边缘处理复杂任务或计算规模扩大时，这种仅依靠单设备的计算能力同样会面临计算力不够的情况。三是使用微型电脑设备(比如树莓派)作为边缘计算设备，将其放置在机房内，并且一个采集设备对应一个边缘计算设备，这种方式通常会增加数据传输延时，而且当边缘端需要实时处理复杂计算任务时，单个边缘计算设备将无法提供足够的计算资源和计算能力来满足实时性处理要求。四是前端设备只负责数据采集，然后将其全部传送到数据中心/云端集中处理。这种方式不仅增加了数据传输的时延，而且还会占用较高的网络带宽资源以及数据中心/云端数据入口资源。综合以上目前关于边缘计算方式的做法，受限于边缘单设备的处理能力限制，边缘设备要么采用专有设备处理特定数据，要么采用专有计算设备、要么采用微型设备/终端，存在计算力不足并难以灵活扩展、设备采集功能和类型单一、人工智能模型迭代更新困难或成本高昂、多模态数据缺乏融合分析、以及缺少多层级云计算的统一管控的问题，这将难以满足城市管理对数据的多模态、全时段、全目标、全背景、全跟踪、全认知及全域范围内(全城)数据的实时综合分析要求。
技术实现思路
针对以上边缘计算存在的相关问题，本专利技术提出了一种基于微容器云的边缘AI计算集群；边缘集群部署在靠近数据采集端(或区域数据中心)，面向AI计算(即人工智能计算)模型的容器资源管控，使用成本相对低廉的移动设备，基于剪裁后的Linux系统、面向移动设备的Kubernetes容器云等。本专利技术采用的技术方案为：一种基于微容器云的边缘AI计算集群，边缘微容器云构建具体为：边缘AI计算硬件集群组装和检查完成后，首先确定边缘微容器云的管控节点、主节点、工作节点，具体为：选择一个通用移动设备作为边缘微容器云的管控节点；选择两个移动设备作为边缘微容器云主节点，然后将所有移动设备都设置为工作节点；然后由管控节点从总云下载安装边缘微容器云所需的基础环境安装包和镜像安装包并进行安装；所述安装过程包括：(1)管控节点对所有移动设备节点进行系统配置和微容器云环境配置；(2)管控节点对移动设备节点安装微容器云所需的基础环境安装包；(3)管控节点将镜像安装包自动复制到边缘微容器云主节点和其他工作节点；(4)管控节点通过执行复制文件包里的脚本完成对边缘微容器云的安装部署；(5)管控节点将边缘微容器集群注册到总云的容器云平台。还包括多层级云架构，所述多层级云架构至少包括四层级云结构，所述四层级云结构从下至上依次为：边缘微容器云、基站小云、中云、总云，各层级云结构之间通过网络进行通信。所述移动设备中包括5G通信模块、北斗通信模块中的至少一种。还包括AI计算集群构建：管控节点从总云下载并安装AI计算集群运行环境镜像和基础算法模型镜像；并根据计算任务所需的计算资源确定容器模式：若单个任务容器占用的CPU/GPU资源的使用率不足20％，且单个移动设备节点整体CPU/GPU计算资源利用率不足100％时，则在单个移动设备节点上部署一个或多个这样的任务容器；若单个移动设备节点整体CPU/GPU计算资源使用率达到100％，也无法满足计算需求，则将多个移动设备节点虚拟化成一个超级容器，并将每个设备节点作为一个计算单位运行单个任务容器，然后进行分布式处理，并指定该超级容器中的某个移动设备节点完成该超级容器中所有移动设备节点计算后的结果进行合并；最后管控节点将边缘微容器云的AI计算集群注册到总云的容器云平台上的人工智能总集群。还包括：AI任务部署，总云根据边缘微容器云对应的计算任务画像，进行模型训练并计算容器需要的计算资源，然后由管控节点向边缘微容器云的主节点推送训练好的模型，然后由主节点根据计算任务的画像和边缘环境的画像及所需的边缘计算资源，自动向每个工作节点分派计算任务并发布云化模型，从而对计算任务实时并行处理；当计算任务处理完成后，其执行结果除了保存在边缘微云外，同时还会将结果通过通信网络上传到上级云结构。当模型更新时，由总云选择在边缘集群的工作负载处于最低时段时，将模型和相关的支持包一起推送到边缘微容器云的主节点，然后由主节点自动完成其他工作节点上任务模型的更新。还包括：总云定时监控AI计算集群中容器的整体资源使用情况，并根据负载的高低动态调整容器的副本数，以实现资源的自动伸缩，并将伸缩后的资源配置信息汇报给总云。本专利技术的有益效果：本专利技术旨在解决物联网、AI边缘计算和云计算应用的快速发展过程中边缘端存在的计算力不够、数据采集功能和类型单一、人工智能模型迭代更新难以实现或成本高昂、缺乏多模态数据的融合分析、以及缺少多层级云计算的统一管控的问题。由于现有的边缘计算方式(或将边缘计算放置在数据中心/云端所在机房、或每个采集点只配置单个边缘设备、或边缘数据传送到数据中心/云端后并在其上进行计算)存在上述问题，本专利技术提供了一种基于微容器云的边缘AI计算集群，可在边缘端通过AI计算集群进行实时计算任务处理，包括对高清视频图像等数据的实时探测、识别、跟踪和认知等。本专利技术包括以下优点：1.本专利技术构造的基于微云的边缘AI计算集群，除具备CPU的计算能力外，更重要的是具备随需扩展的GPU计算能力，从而极大增强了集群的计算能力，最大程度减少了网络负载及降低了云端计算压力；2.边缘集群中的每个移动设备，不仅是计算节点，而且还是通讯节点，其融合了5G和北斗技术，实现了边缘与总云数据之间的无缝对接；3.通过边缘AI计算集群，可以实现对计算任务进行自动拆分、合并，以最大限度地利用边缘集群的计算资源；同时以并行化的计算方式，极大提高了任本文档来自技高网...

【技术保护点】
1.一种基于边缘微容器云的边缘AI计算集群，其特征在于，边缘微容器云构建具体为：边缘AI计算硬件集群组装和检查完成后，首先确定边缘微容器云的管控节点、主节点、工作节点，具体为：选择一个移动设备作为边缘微容器云的管控节点；另外选择两个移动设备作为边缘微容器云主节点，然后将剩下的移动设备都设置为工作节点；然后由管控节点从总云下载安装边缘微容器云所需的基础环境安装包和镜像安装包并进行安装；/n所述安装过程包括：/n(1)管控节点对所有移动设备节点进行系统配置和微容器云环境配置；/n(2)管控节点对移动设备节点安装微容器云所需的基础环境安装包；/n(3)管控节点将镜像安装包自动复制到边缘微容器云主节点和其他工作节点；/n(4)管控节点通过执行复制文件包里的脚本完成对边缘微容器云的安装部署；/n(5)管控节点将边缘微容器集群注册到总云的容器云平台。/n

【技术特征摘要】
1.一种基于边缘微容器云的边缘AI计算集群，其特征在于，边缘微容器云构建具体为：边缘AI计算硬件集群组装和检查完成后，首先确定边缘微容器云的管控节点、主节点、工作节点，具体为：选择一个移动设备作为边缘微容器云的管控节点；另外选择两个移动设备作为边缘微容器云主节点，然后将剩下的移动设备都设置为工作节点；然后由管控节点从总云下载安装边缘微容器云所需的基础环境安装包和镜像安装包并进行安装；
所述安装过程包括：
(1)管控节点对所有移动设备节点进行系统配置和微容器云环境配置；
(2)管控节点对移动设备节点安装微容器云所需的基础环境安装包；
(3)管控节点将镜像安装包自动复制到边缘微容器云主节点和其他工作节点；
(4)管控节点通过执行复制文件包里的脚本完成对边缘微容器云的安装部署；
(5)管控节点将边缘微容器集群注册到总云的容器云平台。


2.根据权利要求1所述的一种基于边缘微容器云的边缘AI计算集群，其特征在于，还包括多层级云架构，所述多层级云架构至少包括四层级云结构，所述四层级云结构从下至上依次为：边缘微容器云、基站小云、中云、总云，各层级云结构之间通过网络进行通信。


3.根据权利要求2所述的一种基于边缘微容器云的边缘AI计算集群，其特征在于，所述网络为5G通信网络或或4G网络或北斗通信网络或以太网网络或RDMA网络。


4.根据权利要求3所述的一种基于边缘微容器云的边缘AI计算集群，其特征在于，还包括AI计算集群构建：
管控节点从总云下载并安装AI计算集群运行环境镜像和基础算法模型镜像；并根据计算任务所需的计算资源确定容器模式：
若单个任务容器占用的CPU/GPU资源的使用率不足20％，且单个移动设备节点整体CPU/GPU计算资源利用率不足100％时，则在单个移动设备...

【专利技术属性】
技术研发人员：徐颖菲，谢磊，李丽，丁路，廖威，
申请(专利权)人：成都智视慧语科技有限公司，
类型：发明
国别省市：四川;51