一种多路视频进行多AI模型并行处理的方法技术

本发明专利技术提供了一种多路视频进行多AI模型并行处理的方法，通过POE路由器与多个摄像头相连，POE路由器与视频服务器相连，视频服务器包括AI管理模块，通过POE路由器接入多路视频数据，每一路视频数据与多模型进行绑定，通过AI管理模块进行AI模型的管理调用，从而达到每一路视频都能进行多模型检测的目的。本发明专利技术的有益效果是：本发明专利技术能够自动添加摄像头，自动化程度高；通过GPU直接参于数据拉流，提高任务处理效率；通过AI管理模块让AI模型可灵活增加、灵活配置，提高开发效率、便于维护；利用并发的机制把所有资源利用起来，达到硬件资源利用的最大化。用的最大化。用的最大化。

【技术实现步骤摘要】
一种多路视频进行多AI模型并行处理的方法


[0001]本专利技术涉及视频处理
，尤其涉及一种多路视频进行多AI模型并行处理的方法。

技术介绍

[0002]现有的视频处理技术，自动化程度低，开发效率低，硬件资源利用无法最大化，并且后期的维护也不方便，给用户带来了极大的烦恼。

技术实现思路

[0003]本专利技术提供了一种多路视频进行多AI模型并行处理的方法，通过POE路由器与多个摄像头相连，POE路由器与视频服务器相连，视频服务器包括AI管理模块，通过POE路由器接入多路视频数据，每一路视频数据与多模型进行绑定，通过AI管理模块进行AI模型的管理调用，从而达到每一路视频都能进行多模型检测的目的。
[0004]作为本专利技术的进一步改进，采用onvif协议定时检测所有接入到POE路由器的摄像头的信息，采用GetStreamUri命令获取视频信息，获取的视频信息包含onvif协议提供的RTSP地址，根据获取到的视频信息后台自动添加摄像头。
[0005]作为本专利技术的进一步改进，对于不支持或者默认关闭ONVIF协议的摄像头，采取主动扫描内网相同网段的所有IP，按照指定格式尝试通讯，如得到应答则寻找摄像头成功，保存此摄像头信息到视频服务器数据库。
[0006]作为本专利技术的进一步改进，视频服务器还包括GPU，在CPU中申请2块属于DMA的内存池，通过内存映射存储视频数据；CPU触发DMA控制器进行传输，通过PCIE传输到GPU中，GPU收到之后接着进行编码、AI识别处理。/>[0007]作为本专利技术的进一步改进，AI管理模块包括外部调用API模块、图像编码模块、图像提取模块、AI通用管理模块、AI识别模块，
[0008]外部调用API模块：用于提供给到外部模块使用的API，识别图像的传入、运算结果的输出；
[0009]图像编码模块：用于把图像转换为AI通用模型需要的图像格式；
[0010]图像提取模块：用于根据AI识别结果，提取对应的图像数据；
[0011]AI通用管理模块：用于管理各个AI模型的优先级、运行频率、开关；
[0012]AI识别模块：用于实现对接自身模型的调用、后处理，把结果反馈到管理模块中。
[0013]作为本专利技术的进一步改进，AI加速框架采用CUDA的软件设计框架，并且根据warp大小按整数倍速分配block所包含的线程数。
[0014]作为本专利技术的进一步改进，按照warp大小特性整数倍生成子任务,然后把相同计算路径的thread放到同一个warp中。
[0015]作为本专利技术的进一步改进，根据warp的运算内容给SM分配不同数量的warp数量，以达到高效率利用。
[0016]作为本专利技术的进一步改进，计算显卡设备型号对应的性能，匹配好每个SM需要的warp个数，以达到可以满足SM不间断运行的条件。
[0017]本专利技术的有益效果是：本专利技术能够自动添加摄像头，自动化程度高；通过GPU直接参于数据拉流，提高任务处理效率；通过AI管理模块让AI模型可灵活增加、灵活配置，提高开发效率、便于维护；利用并发的机制把所有资源利用起来，达到硬件资源利用的最大化。
附图说明
[0018]图1是本专利技术的原理框图；
[0019]图2是自动添加摄像头的流程图；
[0020]图3是GPU直接参于数据拉流的示意图；
[0021]图4是AI管理模块的原理框图；
[0022]图5是CUDA的软件设计框架示意图；
[0023]图6是执行流程图。
具体实施方式
[0024]如图1所示，本专利技术公开了一种多路视频进行多AI模型并行处理的方法，通过POE路由器与多个摄像头相连，POE路由器与视频服务器相连，视频服务器包括AI管理模块(AI Manager)，通过POE路由器接入多路视频数据，每一路视频数据与多模型进行绑定，通过AI管理模块进行AI模型的管理调用，从而达到每一路视频都能进行多模型检测的目的。
[0025]POE路由器还由内网PC端电脑相连，内网PC端电脑与电屏幕电视相连。
[0026]本专利技术能够实现摄像头的自动添加，具体技术方案为：采用onvif协议定时检测所有接入到POE路由器的摄像头的信息；采用GetStreamUri命令获取视频信息，获取的视频信息包含onvif协议提供的RTSP地址；根据获取到的视频信息后台自动添加摄像头。
[0027]如图2所示为自动添加摄像头的流程图。
[0028]本专利技术内置了一些市面上常用的摄像头厂家RTSP格式固定拉流方法，尝试自动发现：对于一些不支持或者默认关闭ONVIF协议的摄像头，本专利技术采取主动扫描内网相同网段的所有IP，按照指定格式尝试通讯，如得到应答则寻找摄像头成功，保存此摄像头信息到视频服务器数据库。目前内置的格式如：
[0029][0030]本专利技术能够实现GPU直接参于数据拉流，具体技术方案为：
[0031]一般情况下数据接流会用CPU来做，但本专利技术用GPU来做，GPU是专业处理图像的模块，处理数据比CPU快好多倍，所以软件设计都会把繁琐的数据交由GPU处理，提高任务处理效率，让出CPU做其他工作。
[0032]如图3所示，本专利技术在CPU申请了2大块属于DMA的内存池，通过内存映射可以存储视频数据。CPU触发DMA控制器进行传输，通过PCIE传输到GPU中，GPU收到之后接着进行编码、AI识别等处理。
[0033]本专利技术的AI管理模块让AI模型可灵活增加、灵活配置。
[0034]AI智能算法多种多样，每个时刻不同客户要求的做法以及习惯可能都不一样，并且经常会变更需求，为了提高开发效率、便于维护，本专利技术设计了AI管理模块，如图4所示，AI管理模块是通用的管理模型框架，框架里面包括外部调用API模块、图像编码模块、图像提取模块、AI通用管理模块、AI识别模块。
[0035]外部调用API模块：主要是提供给到外部模块使用的API，识别图像的传入、运算结果的输出。
[0036]图像编码模块：主要是把图像转换为AI通用模型需要的图像格式。
[0037]图像提取模块：主要是根据AI识别结果，提取对应的图像数据。
[0038]AI通用管理模块：用于管理各个AI模型的优先级、运行频率、开关等。
[0039]AI识别模块：主要实现对接自身模型的调用、后处理，把结果反馈到管理模块中。
[0040]配合AI模型管理系统，在管理系统配置摄像头与AI模型的关系，管理模块根据此配置关系进行AI模型的调用，模型调整时，只需要在管理系统增加、减少模型、或者配置不同摄像头开启关闭对应AI模型调用，即可实现灵活调整，减少系统架构修改。
[0041]本专利技术实现了单AI模型的多线程调用，具体技术方案为：要达到硬件资源利用的最大化，就是要减少GPU工作的空闲状态时间，利用并发的机制把所有资源利用起来。
[0042]一般情况，AI加速框架会以NVDIA公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多路视频进行多AI模型并行处理的方法，其特征在于：通过POE路由器与多个摄像头相连，POE路由器与视频服务器相连，视频服务器包括AI管理模块，通过POE路由器接入多路视频数据，每一路视频数据与多模型进行绑定，通过AI管理模块进行AI模型的管理调用，从而达到每一路视频都能进行多模型检测的目的。2.根据权利要求1所述的方法，其特征在于：采用onvif协议定时检测所有接入到POE路由器的摄像头的信息，采用GetStreamUri命令获取视频信息，获取的视频信息包含onvif协议提供的RTSP地址，根据获取到的视频信息后台自动添加摄像头。3.根据权利要求1所述的方法，其特征在于：对于不支持或者默认关闭ONVIF协议的摄像头，采取主动扫描内网相同网段的所有IP，按照指定格式尝试通讯，如得到应答则寻找摄像头成功，保存此摄像头信息到视频服务器数据库。4.根据权利要求1所述的方法，其特征在于：视频服务器还包括GPU，在CPU中申请2块属于DMA的内存池，通过内存映射存储视频数据；CPU触发DMA控制器进行传输，通过PCIE传输到GPU中，GPU收到之后接着进行编码、AI识别处理。5.根据权利要求1...

【专利技术属性】
技术研发人员：魏钦淋，
申请(专利权)人：深圳市浩科电子有限公司，
类型：发明
国别省市：