图像处理方法和图像处理设备技术

本公开提供了一种利用现场可编程门阵列(FPGA)实现用于图像处理的神经网络算法的图像处理方法和图像处理设备。所述图像处理方法包括：获取由图像获取单元采集的原始图像数据；由第一图像处理单元对所述原始图像数据执行第一图像处理，以获取第一图像数据；由现场可编程门阵列单元基于所述第一图像数据，确定所述第一图像数据中的目标的检测结果；以及由所述第一图像处理单元基于所述第一图像数据和所述目标的检测结果，生成对应于所述目标的编码图像数据。

Image processing method and image processing apparatus

The present disclosure provides an image processing method and an image processing apparatus for implementing a neural network algorithm for image processing using a field programmable gate array (FPGA). The image processing method includes obtaining the original image data acquisition unit consists of image acquisition; by the first image processing unit of the original image data to perform the first image processing, to obtain the first image data; FPGA unit of the first map based on image data from the scene, the test results to determine the first image data in the the target; and by the first image processing unit based on the detection results of the first image data and the target, encoding to generate image data corresponding to the target.

【技术实现步骤摘要】
图像处理方法和图像处理设备
本公开涉及图像处理领域，更具体地，本公开涉及利用现场可编程门阵列(FPGA)实现用于图像处理的神经网络算法的图像处理方法和图像处理设备。
技术介绍
目标检测是计算机图像处理领域中一个基础性的研究课题，其在人脸识别、安全监控以及动态追踪等很多方面都有广泛的应用前景。目标检测是指对于任意一帧或连续帧图像，检测和识别其中特定的目标(例如人脸)，并返回目标的位置、大小信息，例如输出包围目标的边界框。神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如人脸检测，图片分类，物体检测，动作追踪，自然语言翻译等。神经网络已被人工智能界广泛应用。当前，诸如行人检测的目标检测中最广泛应用的是卷积神经网络。现有的图像处理方法通常使用单一的芯片实现具体目标检测功能，由于这些芯片往往并行计算的能力有限，无法适应现有的使用神经网络实现的人脸检测算法，导致可抓拍的人脸数目有限且算法效率低。现场可编程门阵列作为一种通用芯片，其通过将算法映射到硬件的方式实现并行计算，从而具有数据吞吐率高、同等计算量下功耗低、价格便宜的特点。因此，希望提供一种利用现场可编程门阵列作为协处理器实现用于目标检测的神经网络算法的图像处理方法和图像处理设备。
技术实现思路
鉴于上述问题而提出了本专利技术。本专利技术提供了一种利用现场可编程门阵列实现用于图像处理的神经网络算法的图像处理方法和图像处理设备。根据本公开的一个实施例，提供了一种图像处理方法，包括：获取由图像获取单元采集的原始图像数据；由第一图像处理单元对所述原始图像数据执行第一图像处理，以获取第一图像数据；由现场可编程门阵列单元基于所述第一图像数据，确定所述第一图像数据中的目标的检测结果；以及由所述第一图像处理单元基于所述第一图像数据和所述目标的检测结果，生成对应于所述目标的编码图像数据。此外，根据本公开的一个实施例的像处理方法，其中，由所述第一图像处理单元基于所述第一图像数据和所述目标的检测结果，生成对应于所述目标的图像数据包括：基于所述第一图像数据中的每一帧图像数据以及所述每一帧图像数据中的所述目标的检测结果，裁剪所述每一帧图像数据，生成仅包括所述目标的图像数据；以及对所述仅包括所述目标的图像数据执行第一编码，生成对应于所述目标的编码图像数据。此外，根据本公开的一个实施例的图像处理方法，其中，由所述第一图像处理单元基于所述第一图像数据和所述目标的检测结果，生成对应于所述目标的图像数据还包括：基于包括连续帧图像的所述第一图像数据以及所述包括连续帧图像的所述第一图像数据中每一帧图像数据中的所述目标的检测结果，标注所述包括连续帧图像的所述第一图像数据中每一帧图像数据中的目标；以及对标注有所述目标的所述包括连续帧图像的所述第一图像数据执行第二编码，生成连续帧对应于所述目标的编码图像数据。此外，根据本公开的一个实施例的图像处理方法，其中，所述图像处理方法还包括：经由第一接口单元将所述第一图像数据从所述第一图像处理单元传输到所述现场可编程门阵列单元；以及经由第二接口单元将所述目标的检测结果从所述现场可编程门阵列单元传输到所述第一图像处理单元。此外，根据本公开的一个实施例的图像处理方法，其中，所述第一图像处理单元包括裁剪子单元和第一编码子单元，所述裁剪子单元和所述第一编码子单元为硬件，所述裁剪的步骤由所述裁剪子单元实现，所述第一编码由所述第一编码子单元实现。此外，根据本公开的一个实施例的图像处理方法，其中，所述第一图像处理单元包括第二编码子单元，所述第二编码子单元为硬件，所述第二编码由所述第二编码子单元实现。此外，根据本公开的一个实施例的图像处理方法，其中，所述图像处理方法还包括：将所述目标的编码图像数据通过网络传输给后端服务器进行处理。此外，根据本公开的一个实施例的图像处理方法，其中，所述目标包括人脸，所述后端服务器进行的所述处理包括人脸属性分析、人脸识别、人脸美颜、人脸卡通化中的至少一种。此外，根据本公开的一个实施例的图像处理方法，其中，所述获取由图像获取单元采集的原始图像数据的步骤，所述由第一图像处理单元对所述原始图像数据执行第一图像处理以获取第一图像数据的步骤，所述由现场可编程门阵列单元基于所述第一图像数据确定所述第一图像数据中的目标的检测结果的步骤，以及所述由所述第一图像处理单元基于所述第一图像数据和所述目标的检测结果生成对应于所述目标的编码图像数据的步骤由摄像头实现，所述摄像头包括所述图像获取单元、所述第一图像处理单元和所述现场可编程门阵列单元。根据本公开的另一个实施例，提供了一种图像处理设备，包括：图像获取单元，用于采集原始图像数据；第一图像处理单元，用于对所述原始图像数据执行第一图像处理，以获取第一图像数据；以及现场可编程门阵列单元，用于基于所述第一图像数据，确定所述第一图像数据中的目标的检测结果；其中，所述第一图像处理单元还用于基于所述第一图像数据和所述目标的检测结果，生成对应于所述目标的编码图像数据。此外，根据本公开的另一个实施例的图像处理设备，其中所述第一图像处理单元还包括：裁剪子单元，用于基于所述第一图像数据中的每一帧图像数据以及所述每一帧图像数据中的所述目标的检测结果，裁剪所述每一帧图像数据，生成仅包括所述目标的图像数据；以及第一编码子单元，用于对所述仅包括所述目标的图像数据执行第一编码，生成对应于所述目标的编码图像数据。此外，根据本公开的另一个实施例的图像处理设备，其中所述第一图像处理单元还包括：标注子单元，用于基于包括连续帧图像的所述第一图像数据以及所述连续帧图像的所述第一图像数据中每一帧图像数据中的所述目标的检测结果，标注所述包括连续帧图像的所述第一图像数据中每一帧图像数据中的目标；以及第二编码子单元，用于对标注有所述目标的所述包括连续帧图像的所述第一图像数据执行第二编码，生成连续帧对应于所述目标的编码图像数据。此外，根据本公开的另一个实施例的图像处理设备，还包括：第一接口单元，用于将所述第一图像数据从所述第一图像处理单元传输到所述FPGA单元；以及第二接口单元，用于将所述目标的检测结果从所述现场可编程门阵列单元传输到所述第一图像处理单元。此外，根据本公开的另一个实施例的图像处理设备，其中，所述裁剪子单元和所述第一编码子单元由硬件实现。此外，根据本公开的另一个实施例的图像处理设备，其中，所述标注子单元由软件实现或者由硬件实现或者由硬件结合软件实现，所述第二编码子单元由硬件实现。此外，根据本公开的另一个实施例的图像处理设备，其中，所述图像处理设备还包括数据发送单元，用于将所述目标的编码图像数据通过网络传输给后端服务器进行处理。此外，根据本公开的另一个实施例的图像处理设备，其中，所述目标包括人脸，所述后端服务器进行的所述处理包括人脸属性分析、人脸识别、人脸美颜、人脸卡通化中的至少一种。此外，根据本公开的另一个实施例的图像处理设备，其中，所述图像处理设备为摄像头，所述图像获取单元包括光学传感器，所述第一图像处理单元包括图形信号处理(ISP)模块和中央处理单元(CPU)模块。根据本公开的实施例图像处理方法和图像处理设备，通过利用现场可编程门阵列作为协处理器实现用于目标检测的神经网络本文档来自技高网...

【技术保护点】
一种图像处理方法，包括：获取由图像获取单元采集的原始图像数据；由第一图像处理单元对所述原始图像数据执行第一图像处理，以获取第一图像数据；由现场可编程门阵列单元基于所述第一图像数据，确定所述第一图像数据中的目标的检测结果；以及由所述第一图像处理单元基于所述第一图像数据和所述目标的检测结果，生成对应于所述目标的编码图像数据。

【技术特征摘要】
1.一种图像处理方法，包括：获取由图像获取单元采集的原始图像数据；由第一图像处理单元对所述原始图像数据执行第一图像处理，以获取第一图像数据；由现场可编程门阵列单元基于所述第一图像数据，确定所述第一图像数据中的目标的检测结果；以及由所述第一图像处理单元基于所述第一图像数据和所述目标的检测结果，生成对应于所述目标的编码图像数据。2.如权利要求1所述的图像处理方法，其中，由所述第一图像处理单元基于所述第一图像数据和所述目标的检测结果，生成对应于所述目标的图像数据包括：基于所述第一图像数据中的每一帧图像数据以及所述每一帧图像数据中的所述目标的检测结果，裁剪所述每一帧图像数据，生成仅包括所述目标的图像数据；以及对所述仅包括所述目标的图像数据执行第一编码，生成对应于所述目标的编码图像数据。3.如权利要求1或2所述的图像处理方法，其中，由所述第一图像处理单元基于所述第一图像数据和所述目标的检测结果，生成对应于所述目标的图像数据还包括：基于包括连续帧图像的所述第一图像数据以及所述包括连续帧图像的所述第一图像数据中每一帧图像数据中的所述目标的检测结果，标注所述包括连续帧图像的所述第一图像数据中每一帧图像数据中的目标；以及对标注有所述目标的所述包括连续帧图像的所述第一图像数据执行第二编码，生成连续帧对应于所述目标的编码图像数据。4.如权利要求1或2所述的图像处理方法，其中，所述图像处理方法还包括：经由第一接口单元将所述第一图像数据从所述第一图像处理单元传输到所述现场可编程门阵列单元；以及经由第二接口单元将所述目标的检测结果从所述现场可编程门阵列单元传输到所述第一图像处理单元。5.如权利要求2所述的图像处理方法，其中，所述第一图像处理单元包括裁剪子单元和第一编码子单元，所述裁剪子单元和所述第一编码子单元为硬件，所述裁剪的步骤由所述裁剪子单元实现，所述第一编码由所述第一编码子单元实现。6.如权利要求3所述的图像处理方法，其中，所述第一图像处理单元包括第二编码子单元，所述第二编码子单元为硬件，所述第二编码由所述第二编码子单元实现。7.如权利要求1或2所述的图像处理方法，其中，所述图像处理方法还包括：将所述目标的编码图像数据通过网络传输给后端服务器进行处理。8.如权利要求7所述的图像处理方法，其中，所述目标包括人脸，所述后端服务器进行的所述处理包括人脸属性分析、人脸识别、人脸美颜、人脸卡通化中的至少一种。9.如权利要求1或2所述的图像处理方法，其中，所述获取由图像获取单元采集的原始图像数据的步骤，所述由第一图像处理单元对所述原始图像数据执行第一图像处理以获取第一图像数据的步骤，所述由现场可编程门阵列单元基于所述第一图像数据确定所述第一...

【专利技术属性】
技术研发人员：庄永文，梁喆，曹宇辉，张宇翔，
申请(专利权)人：北京旷视科技有限公司，北京小孔科技有限公司，
类型：发明
国别省市：北京,11