一种用于边缘端图像的识别加速系统和方法技术方案

本发明专利技术公开一种一种用于边缘端图像的识别加速系统和方法，本系统以FPGA和MPSOC为核心处理器，其中为了到达图像识别的实时性要求，以FPGA为核心实现图像识别算法，MPSOC芯片包括多核处理器（PS）、GPU和PL逻辑，MPSOC则实现监控管理、视频预处理、图像检测处理选择、图像检测算法、图像匹配、图像识别预处理等功能。该系统拥有强大的神经网络计算能力，不需要将大规模图像信息传输到云端进行识别，具有能实时性高，可扩展性强，功耗低的优点。

A recognition acceleration system and method for edge image

【技术实现步骤摘要】
一种用于边缘端图像的识别加速系统和方法
本专利技术涉及视频处理领域，具体是一种用于边缘端图像的识别加速系统和方法。
技术介绍
大部分大规模的图像识别系统是采用云端来处理大规模的图像识别算法，这种系统会带来比较大的延迟和较高的成本，一些边缘端的图像识别系统只能实时处理小规模的图像识别算法，能耗高、实时性差。
技术实现思路
本专利技术要解决的技术问题是提供一种用于边缘端图像的识别加速系统和方法，可以在边缘端实现大规模的图像识别算法，采用本系统具有能耗低、实时性好、便于升级的优点。为了解决所述技术问题，本专利技术采用的技术方案是：一种用于边缘端图像的识别加速系统，包括MPSOC和FPGA，MPSOC包括PS端、PL端和高速接口，PS端包括视频预处理模块、图像检测模块、人脸识别预处理模块、MTCNN模块、人脸匹配模块和监控管理模块，PL端包括人脸识别预处理模块和MTCNN模块，FPGA包括控制接口、数据解析模块和mobilefacenet模块，视频预处理模块与图像检测模块相连，图像检测模块分别与PS端和PL端的人脸识别预处理模块相连，人脸识别预处理模块与MTCNN模块相连，MTCNN模块通过高速接口与FPGA的数据解析模块，数据解析模块与mobilefacenet模块，mobileface模块通过高速接口与人脸匹配模块，人脸匹配模块同时与存储有图像特征相连的DDR相连。进一步的，MPSOC连接的FPGA数量为两个以上。进一步的，所述高速接口为srio接口或者Aurora接口。>本专利技术还公开了一种用于边缘端图像的识别加速方法，包括以下步骤：S01）、视频预处理模块对进入MPSOC的视频图像进行预处理；S02）、图像检测模块对预处理后的视频图像进行标号，并根据图像个数评估PS端处理器是否能达到要求的实时性，如果不能达到要求则在下一帧视频图像处理时将视频预处理后的图片输入到PL端的人脸识别预处理模块和MTCNN模块进行处理；S03）、人脸识别预处理模块将编好号的N个图像分为M组，每组有N/M个图像，M、N均为正整数，M≥2且N＞M，然后将M组图像均根据标号组成M组数据帧，将M组数据帧分别通过高速接口发给至M个FPGA；S04）、FPGA中的数据解析模块从接收的数据帧从剥离图像数据，然后将图像数据传输至mobilefacenet模块；S05）、mobilefacenet模块对接收的图像数据进行图像识别，并将生成的图像特征向量组成成一定格式的帧通过高速接口发送回MPSOC；S06）、MPSOC接收mobilefacenet模块返回的图像特征向量帧，解帧后发送至PS端的人脸匹配模块；S07）、人脸匹配模块将mobilefacenet模块识别的图像特征向量与DDR存储的数据库中的图像特征向量进行比对，得出图像识别结果，并将结果通过视频显示出来。进一步的，MPSOC连接的FPGA数量为两个以上。进一步的，所述高速接口为srio接口或者Aurora接口。进一步的，MPSOC发送给FPGA以及FPGA返回至MPSOC的帧都是图像数据加报文头标志和crc校验位，数据解析模块剥离图像数据是将添加的报文头标志和crc校验位去掉，只留下图像数据。进一步的，所述视频预处理模块对图像进行裁剪、整形。本专利技术的有益效果：本专利技术以FPGA和MPSOC为核心处理器，其中为了到达图像识别的实时性要求，以FPGA为核心实现图像识别算法，MPSOC芯片包括多核处理器（PS）、GPU和PL逻辑，MPSOC则实现监控管理、视频预处理、图像检测处理选择、图像检测算法、图像匹配、图像识别预处理等功能。该系统拥有强大的神经网络计算能力，不需要将大规模图像信息传输到云端进行识别，具有能实时性高，可扩展性强，功耗低的优点。附图说明图1为实施例1所述系统的原理框图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步的说明。实施例1本实施例公开一种用于边缘端图像的识别加速系统，如图1所示，包括MPSOC和FPGA，MPSOC包括PS端、PL端和高速接口，PS端包括视频预处理模块、图像检测模块、人脸识别预处理模块、MTCNN模块、人脸匹配模块和监控管理模块，PL端包括人脸识别预处理模块和MTCNN模块，FPGA包括控制接口、数据解析模块和mobilefacenet模块，视频预处理模块与图像检测模块相连，图像检测模块分别与PS端和PL端的人脸识别预处理模块相连，人脸识别预处理模块与MTCNN模块相连，MTCNN模块通过高速接口与FPGA的数据解析模块，数据解析模块与mobilefacenet模块，mobileface模块通过高速接口与人脸匹配模块，人脸匹配模块同时与存储有图像特征相连的DDR相连。本实施例中，MPSOC连接的FPGA数量为两个以上，根据要处理的图像个数决定连接的FPGA的数量。系统根据预计的图像个数可以进行扩展，加入更多的FPGA来进行更大规模的图像识别算法的加速，保证图像识别的实时性。本实施例中，所述高速接口为srio接口或者Aurora接口。实施例2本实施例公开一种用于边缘端图像的识别加速方法，包括以下步骤：S01）、视频预处理模块对进入MPSOC的视频图像进行预处理；S02）、图像检测模块对预处理后的视频图像进行标号，并根据图像个数评估PS端处理器是否能达到要求的实时性，如果不能达到要求则在下一帧视频图像处理时将视频预处理后的图片输入到PL端的人脸识别预处理模块和MTCNN模块进行处理；S03）、人脸识别模块将编好号的N个图像分为M组，每组有N/M个图像，M、N均为正整数，M≥2且N＞M，然后将M组图像均根据标号组成M组数据帧，将M组数据帧分别通过高速接口发给至M个FPGA；S04）、FPGA中的数据解析模块从接收的数据帧从剥离图像数据，然后将图像数据传输至mobilefacenet模块；S05）、mobilefacenet模块对接收的图像数据进行图像识别，并将生成的图像特征向量组成成一定格式的帧通过高速接口发送回MPSOC；S06）、MPSOC接收mobilefacenet模块返回的图像特征向量帧，解帧后发送至PS端的人脸匹配模块；S07）、人脸匹配模块将mobilefacenet模块识别的图像特征向量与DDR存储的数据库中的图像特征向量进行比对，得出图像识别结果，并将结果通过视频显示出来。本实施例中，MPSOC连接的FPGA数量为两个以上。本实施例中，所述高速接口为srio接口或者Aurora接口。本实施例中，MPSOC发送给FPGA以及FPGA返回至MPSOC的帧都是图像数据加报文头标志和crc校验位，数据解析模块剥离图像数据是将添加的报文头标志和crc校验位去掉，只留下图像数据。本实施例中，所述视频预处理模块对图像进行裁剪、整形。本专利技术以FPGA和MPSOC为核心处理器，其中为了到达图像识别的实时性要求，以FPGA为核心实现图像识别算法，MPSOC芯片包括多核处理器本文档来自技高网...

【技术保护点】
1.一种用于边缘端图像的识别加速系统，其特征在于：包括MPSOC和FPGA，MPSOC包括PS端、PL端和高速接口，PS端包括视频预处理模块、图像检测模块、人脸识别预处理模块、MTCNN模块、人脸匹配模块和监控管理模块，PL端包括人脸识别预处理模块和MTCNN模块，FPGA包括控制接口、数据解析模块和mobilefacenet模块，视频预处理模块与图像检测模块相连，图像检测模块分别与PS端和PL端的人脸识别预处理模块相连，人脸识别预处理模块与MTCNN模块相连，MTCNN模块通过高速接口与FPGA的数据解析模块，数据解析模块与mobilefacenet模块，mobileface模块通过高速接口与人脸匹配模块，人脸匹配模块同时与存储有图像特征相连的DDR相连。/n

【技术特征摘要】
1.一种用于边缘端图像的识别加速系统，其特征在于：包括MPSOC和FPGA，MPSOC包括PS端、PL端和高速接口，PS端包括视频预处理模块、图像检测模块、人脸识别预处理模块、MTCNN模块、人脸匹配模块和监控管理模块，PL端包括人脸识别预处理模块和MTCNN模块，FPGA包括控制接口、数据解析模块和mobilefacenet模块，视频预处理模块与图像检测模块相连，图像检测模块分别与PS端和PL端的人脸识别预处理模块相连，人脸识别预处理模块与MTCNN模块相连，MTCNN模块通过高速接口与FPGA的数据解析模块，数据解析模块与mobilefacenet模块，mobileface模块通过高速接口与人脸匹配模块，人脸匹配模块同时与存储有图像特征相连的DDR相连。


2.根据权利要求1所述的用于边缘端图像的识别加速系统，其特征在于：MPSOC连接的FPGA数量为两个以上。


3.根据权利要求1所述的用于边缘端图像的识别加速系统，其特征在于：所述高速接口为srio接口或者Aurora接口。


4.一种用于边缘端图像的识别加速方法，其特征在于：包括以下步骤：S01）、视频预处理模块对进入MPSOC的视频图像进行预处理；S02）、图像检测模块对预处理后的视频图像进行标号，并根据图像个数评估PS端处理器是否能达到要求的实时性，如果不能达到要求则在下一帧视频图像处理时将视频预处理后的图片输入到PL端的人脸识别预处理模块和MTCNN模块进行处理；S03）、人脸识别预处理模块将编好号的N个...

【专利技术属性】
技术研发人员：秦刚，姜凯，赵鑫鑫，王子彤，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37