【技术实现步骤摘要】
本专利技术属于智能计算控制，尤其涉及一种无人机集群智能计算负载均衡方法及装置。
技术介绍
1、无人机集群系统是由一定数量的无人机相互协同在一定时间和空间内共同完成复杂任务的集群系统。无人机集群系统与传统的单个无人机相比具有更多优势，如高效率、高容错性、高并行性；其通过汇集多个无人机的功能构成高稳定性和高可靠性的分布式系统并通过共享无人机集群系统各自采集的信息实现任务的分配与协调。
2、随着soc芯片和人工智能算法飞速发展，搭载于无人机的soc芯片也体现了对智能计算的迫切需求。无人机执行任务时通常要利用其搭载的载荷从环境中采集并拍摄图像数据，然后应用人工智能算法对图像数据进行智能计算。图像数据的智能计算是一项非常耗费资源的计算密集型任务，但无人机上的单一soc芯片计算能力和存储能力有限，因此，在无人机上引入智能计算时通过引入轻量型网络结构来降低参数量和运算量并合理分配计算任务到不同芯片并实现各芯片计算任务的负载均衡至关重要。此外，战场通信条件有限，不同设备通信时存在一定的带宽限制且部分设备极有可能因为地理位置或人为因素出现通信故障的情况。
3、因而在无人机集群系统中，实时视频图像的智能计算技术目前面临以下问题：受到战场环境通信条件有限的影响，部分soc芯片可能会出现故障或断网的情况，给多路视频智能处理任务的分配带来极大考验；受到带宽的限制，无人机集群采集的视频图像数据冗余度高且占用带宽较大，难以传输；智能计算是一项耗费资源的计算密集型任务，而单一soc芯片的计算能力和存储能力有限，所以当需要智能处理多路视频
技术实现思路
1、鉴于上述存在的问题，本专利技术公开了种无人机集群智能计算负载均衡方法及装置。
2、本专利技术采用如下技术方案：
3、一种无人机集群智能计算负载均衡方法，所述方法用于提高应用程序的处理性能，提供故障转移，实现应用程序的高可用性，所述方法包括：采用h264或h265编解码算法对视频图像数据进行编码，得到h264或h265数据流；将针对h264或h265数据流的智能计算任务均衡分发给各个智能推理板卡，实现所述无人机集群中各个基于soc芯片的智能推理板卡的负载均衡；在所述基于soc芯片的智能推理板卡部署智能推理应用程序。
4、进一步地，所述方法包括步骤：
5、s1无人机采用h264或h265编解码算法对无人机采集的视频图像数据进行编码，然后通过grpc流式传输方法在客户端和服务器端进行h264或h265数据流传输，所述客户端部署在无人机集群的每个无人机上，所述服务器端部署在地面端智能推理板卡上；
6、s2应用nginx技术实现所述无人机集群各个基于soc芯片的智能推理板卡的负载均衡功能，负载均衡器通过基于nginx的负载均衡方法向所述智能推理板卡均衡地分配智能推理任务，所述负载均衡器是部署在地面端的nginx服务程序；
7、s3在所述智能推理板卡部署智能推理应用程序，所述智能推理应用程序接收到所述h264或h265数据流后进行视频解码和推理，把推理结果和视频图像数据整合，完成对视频图像数据的智能计算。
8、进一步地，所述s1包括：在无人机集群的每个无人机上部署一个客户端，所述客户端通过grpc流式传输方法将h264或h265数据流发送到负载均衡器。
9、进一步地，所述负载均衡器为部署过nginx服务的计算机。
10、进一步地，所述nginx服务包括：在反向代理基础上把用户的请求根据指定的负载均衡算法分发到一组upstream虚拟服务池。
11、进一步地，s2包括通过文件nginx.conf对nginx及其模块的工作方式进行配置。
12、进一步地，所述s3包括：s2所述服务器接收到来自负载均衡器的h264或h265数据流后进行解码，解码得到的一帧帧视频图像数据，所述视频图像数据通过所述智能推理应用程序进行智能推理计算，计算完成后将推理结果通过grpc流式传输技术发送至客户端，客户端针对每张图像将视频图像数据和服务器的推理结果进行整合。
13、进一步地，s1所述grpc流式传输方法包括：
14、首先采用h264或h265编码器应用帧内预测压缩、帧间预测压缩降低视频中的冗余数据量并获得h264或h265数据流；然后采用语言中立、平台中立、开源的grpc远程过程调用系统远程调用所述智能推理应用程序，通过grpc流式传输方法在客户端和服务器端进行h264或h265数据流的传输，grpc是使用protobuf作为序列化协议，http2.0为通讯协议的rpc协议。
15、进一步地，s2所述智能推理板卡负载均衡功能的实现方法包括：
16、负载均衡方法应用包含三部分，分别是客户端、负载均衡器和服务器，所述客户端负责向负载均衡器发送任务请求；所述负载均衡器负责依据轮询算法将所述任务请求分发到不同服务器上；所述服务器负责处理所述任务请求并将处理结果返回客户端；所述客户端实时发送无人机采集的视频图像数据；所述服务器采用基于soc芯片的智能推理板卡且对所述视频图像数据进行基于深度学习的智能推理；负载均衡器将客户端发送的视频图像数据智能计算请求均衡地分发给不同的服务器。
17、一种无人机集群智能计算负载均衡装置，所述装置采用上述智能计算负载均衡方法改善无人机集群的智能推理任务分配、无人机集群采集的视频图像数据传输及机载soc芯片存储和计算能力，所属装置包括：
18、编解码模块，用于采用h264或h265编解码算法对无人机采集的视频图像数据进行编码，然后通过grpc流式传输方法在客户端和服务器端进行h264或h265数据流传输；
19、负载均衡模块，应用nginx技术实现所述无人机集群各个基于soc芯片的智能推理板卡的负载均衡功能，负载均衡器通过基于nginx的负载均衡方法向所述智能推理板卡均衡地分配智能推理任务；
20、智能计算模块，用于智能推理应用程序接收到所述h264或h265数据流后进行视频解码和推理，把推理结果和视频图像数据整合，完成对视频图像数据的智能计算。
21、有益效果：
22、本专利技术通过应用h264或h265编解码算法对无人机集群采集的视频图像数据进行编码，能有效降低视频图像数据传输过程中的带宽；将nginx反向代理与负载均衡技术应用于无人机集群的智能计算任务中，实现在通信严重受限下的故障快速转移，实现个体通信故障下集群整体运行的流畅；通过将多路视频智能推理任务分配给不同的基于soc芯片的智能推理板卡，突破单一soc芯片的计算能力和存储能力较低的限制。
23、本专利技术公开的一种无人机集群智能计算负载均衡方法，解决了基于无人机集群的视频图像智能计算的诸多问题。解决的问题包括：通信条件受限时个体通信故障下无人机集群的智能推理任务分配不均问题；低带宽通信条件下无人机集群采集的视频图像数据传输受限问题；图像智能处理计算量大本文档来自技高网...
【技术保护点】
1.一种无人机集群智能计算负载均衡方法，其特征在于，所述方法用于提高应用程序的处理性能，提供故障转移，实现应用程序的高可用性，所述方法包括：采用H264或H265编解码算法对视频图像数据进行编码，得到H264或H265数据流；将针对H264或H265数据流的智能计算任务均衡分发给各个智能推理板卡，实现所述无人机集群中各个基于SOC芯片的智能推理板卡的负载均衡；在所述基于SOC芯片的智能推理板卡部署智能推理应用程序。
2.根据权利要求1所述的智能计算负载均衡方法，其特征在于，所述方法包括步骤：
3.根据权利要求2所述的智能计算负载均衡方法，其特征在于，所述S1包括：所述客户端通过gRPC流式传输方法将H264或H265数据流发送到负载均衡器。
4.根据权利要求3所述的智能计算负载均衡方法，其特征在于，所述负载均衡器为部署过Nginx服务的计算机。
5.根据权利要求4所述的智能计算负载均衡方法，其特征在于，所述Nginx服务包括：在反向代理基础上把用户的请求根据指定的负载均衡算法分发到一组upstream虚拟服务池。
6.根
7.根据权利要求2所述的智能计算负载均衡方法，其特征在于，所述S3包括：S2所述服务器接收到来自负载均衡器的H264或H265数据流后进行解码，解码得到的一帧帧视频图像数据，所述视频图像数据通过所述智能推理应用程序进行智能推理计算，计算完成后将推理结果通过gRPC流式传输技术发送至客户端，客户端针对每张图像将视频图像数据和服务器的推理结果进行整合。
8.根据权利要求2所述的智能计算负载均衡方法，其特征在于，S1所述gRPC流式传输方法包括：
9.根据权利要求2所述的智能计算负载均衡方法，其特征在于，S2所述智能推理板卡负载均衡功能的实现方法包括：
10.一种无人机集群智能计算负载均衡装置，其特征在于，所述装置采用如权利要求1-9之一所述智能计算负载均衡方法改善无人机集群的智能推理任务分配、无人机集群采集的视频图像数据传输及机载SOC芯片存储和计算能力，所属装置包括：
...【技术特征摘要】
1.一种无人机集群智能计算负载均衡方法，其特征在于，所述方法用于提高应用程序的处理性能，提供故障转移，实现应用程序的高可用性，所述方法包括：采用h264或h265编解码算法对视频图像数据进行编码，得到h264或h265数据流；将针对h264或h265数据流的智能计算任务均衡分发给各个智能推理板卡，实现所述无人机集群中各个基于soc芯片的智能推理板卡的负载均衡；在所述基于soc芯片的智能推理板卡部署智能推理应用程序。
2.根据权利要求1所述的智能计算负载均衡方法，其特征在于，所述方法包括步骤：
3.根据权利要求2所述的智能计算负载均衡方法，其特征在于，所述s1包括：所述客户端通过grpc流式传输方法将h264或h265数据流发送到负载均衡器。
4.根据权利要求3所述的智能计算负载均衡方法，其特征在于，所述负载均衡器为部署过nginx服务的计算机。
5.根据权利要求4所述的智能计算负载均衡方法，其特征在于，所述nginx服务包括：在反向代理基础上把用户的请求根据指定的负载均衡算法分发到一组upstream虚拟服务池。...
【专利技术属性】
技术研发人员：姜梁，吴国强，孙浩惠，葛艳京，高伟，
申请(专利权)人：航天时代飞鸿技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。