一种快速多路数据流实时检测优化处理控制系统及方法技术方案

本发明专利技术公开了一种快速多路数据流实时检测优化处理控制系统及方法，数据分发模块：接受待检测图片并将图片分发到各个应用的处理模块，并统计各模型每秒钟检测图片数量供模型调度模块使用；模型调度模块：从数据分发模块得到各模型每秒钟检测图片数量，启动新的数据处理模块，为负荷重的模型分流；关闭多余的数据处理模块，节省系统资源；数据处理模块：实现了多种缺陷检测智能检测应用的动态调度，以及多路实时监控视频流的负载均衡，提升图像分析速度。本发明专利技术满足多路大数据量检测的需求，具有高实时性、高可靠性等特点。

【技术实现步骤摘要】
一种快速多路数据流实时检测优化处理控制系统及方法
本专利技术涉及数据处理
，具体涉及一种快速多路数据流实时检测优化处理控制系统及方法。
技术介绍
电力线路众多，每天巡检的无人机能采集到海量的高清图片，同时每张图片需要检测的缺陷种类众多，这对缺陷识别的速度提出了很高的要求。图3为现有技术流程图。现有技术中接受的图像需保存至本地，再调用深度模型进行计算，并返回结果。每次接受一批图像后，都需要调用一次模型进行计算，而调用模型的时间消耗是计算的数十倍，且无法并行处理。
技术实现思路
为了解决现有技术存在的技术缺陷，本专利技术的目的是提供一种快速多路数据流实时检测优化处理控制系统及方法，旨在提高整个检测流程的处理速度，同时增加并行处理能力。本专利技术采用的技术解决方案是：一种快速多路数据流实时检测优化处理控制系统，由以下模块组成：数据分发模块：接受待检测图片并将图片分发到各个应用的处理模块，并统计各模型每秒钟检测图片数量供模型调度模块使用；模型调度模块：从数据分发模块得到各模型每秒钟检测图片数量，在资源充足的情况下，启动新的数据处理模块，为负荷重的模型分流，在数据量不大的情况下关闭多余的数据处理模块，节省系统资源；数据处理模块：接受待检测图片，并对其进行智能检测，每个应用都有对应的一个数据处理模块，该模块将检测模型持续加载在GPU中，在接收到图片后，无需重复加载模型直接送入模型进行智能检测，并返回最终结果。所述的数据处理模块的数量大于1个。一种快速多路数据流实时检测优化处理方法，包括以下步骤：（1）接受输入的待检测图片并将图片分发到各个应用的处理模块，并统计各模型每秒钟检测图片数量供模型调度模块使用；（2）根据得到的各模型每秒钟检测图片数量的数据，预测单位时间内处理数据量是否在阈值范围内，在资源充足的情况下，启动新的检测服务，为负荷重的模型分流，在数据量不大的情况下关闭多余的检测服务，节省系统资源；（3）接受分发的待检测图片，并对其进行智能检测，每个应用都有一个对应的数据处理模块，该模块将检测模型持续加载在GPU中，在接收到图片后，无需重复加载模型直接送入模型进行智能检测，并返回最终结果。本专利技术的有益效果是：本专利技术基于应用服务化方式，实现了多种缺陷检测智能检测应用的动态调度，以及多路实时监控视频流的负载均衡，提升图像分析速度，将单张图片、单个应用的检测时间平均缩短到0.2秒内，满足多路大数据量检测的需求，具有高实时性、高可靠性等特点。附图说明图1为本专利技术控制系统结构图。图2为本专利技术方法流程图。图3为现有技术流程图。具体实施方式现结合图1、图2对本专利技术进行进一步说明，一种快速多路数据流实时检测优化处理控制系统，图1为本专利技术控制系统结构图，由以下模块组成：数据分发模块：接受待检测图片并将图片分发到各个应用的处理模块，并统计各模型每秒钟检测图片数量供模型调度模块使用；模型调度模块：从数据分发模块得到各模型每秒钟检测图片数量，在资源充足的情况下，启动新的数据处理模块，为负荷重的模型分流，在数据量不大的情况下关闭多余的数据处理模块，节省系统资源；数据处理模块：接受待检测图片，并对其进行智能检测，每个应用都有对应的一个数据处理模块，该模块将检测模型持续加载在GPU中，在接收到图片后，无需重复加载模型直接送入模型进行智能检测，并返回最终结果。所述的数据处理模块的数量大于1个。一种快速多路数据流实时检测优化处理方法，图2为本专利技术方法流程图。包括以下步骤：（1）接受输入的待检测图片并将图片分发到各个应用的处理模块，并统计各模型每秒钟检测图片数量供模型调度模块使用；（2）根据得到的各模型每秒钟检测图片数量的数据，预测单位时间内处理数据量是否在阈值范围内，在资源充足的情况下，启动新的检测服务，为负荷重的模型分流，在数据量不大的情况下关闭多余的检测服务，节省系统资源；（3）接受分发的待检测图片，并对其进行智能检测，每个应用都有一个对应的数据处理模块，该模块将检测模型持续加载在GPU中，在接收到图片后，无需重复加载模型直接送入模型进行智能检测，并返回最终结果。本专利技术将数据检测模块以http服务的方式进行封装，从而将模型固化在GPU中，避免每次检测时都重新加载模型，极大地减少了检测流程的处理时间，每张图片相对传统检测方式节省了模型加载的时间，约5s；且通过模型调度模块，合理分配GPU资源，使得使用多的模型分配到更多的资源。本专利技术根据访问量进行模型调度，为访问量大的模型启动更多的服务进程，从而提高GPU资源利用率。并且通过服务化的方式，将深度模型持续加载在GPU中，避免了每次检测都需要重新加载模型，极大地减少了检测流程的时间，进一步的提高了GPU资源的利用率。以上所述仅是本专利技术的优选实施方式，本专利技术的保护范围并不仅局限于上述实施例，凡属于本专利技术思路下的技术方案均属于本专利技术的保护范围。应当指出，对于本
的普通技术人员来说，在不脱离本专利技术原理前提下的若干改进和润饰，这些改进和润饰也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种快速多路数据流实时检测优化处理控制系统，其特征在于，由以下模块组成：/n(1)数据分发模块：接受待检测图片并将图片分发到各个应用的处理模块，并统计各模型每秒钟检测图片数量供模型调度模块使用；/n(2)模型调度模块：从数据分发模块得到各模型每秒钟检测图片数量，启动新的数据处理模块，为负荷重的模型分流；关闭多余的数据处理模块，节省系统资源；/n(3)数据处理模块：接受待检测图片，并对其进行智能检测，每个应用都有对应的一个数据处理模块，该模块将检测模型持续加载在GPU中，在接收到图片后，无需重复加载模型直接送入模型进行智能检测，并返回最终结果。/n

【技术特征摘要】
1.一种快速多路数据流实时检测优化处理控制系统，其特征在于，由以下模块组成：
(1)数据分发模块：接受待检测图片并将图片分发到各个应用的处理模块，并统计各模型每秒钟检测图片数量供模型调度模块使用；
(2)模型调度模块：从数据分发模块得到各模型每秒钟检测图片数量，启动新的数据处理模块，为负荷重的模型分流；关闭多余的数据处理模块，节省系统资源；
(3)数据处理模块：接受待检测图片，并对其进行智能检测，每个应用都有对应的一个数据处理模块，该模块将检测模型持续加载在GPU中，在接收到图片后，无需重复加载模型直接送入模型进行智能检测，并返回最终结果。


2.根据权利要求1所述的快速多路数据流实时检测优化处理控制系统，其特征在于：所述的数据处...

【专利技术属性】
技术研发人员：徐磊，张斌，王松涛，袁杰，孙凌卿，杨巧德，刘田红，
申请(专利权)人：江苏电力信息技术有限公司，国网江苏省电力有限公司扬州供电分公司，
类型：发明
国别省市：江苏;32