一种基于大数据架构的人脸识别监控系统技术方案

本实用新型专利技术公开了一种基于大数据架构的人脸识别监控系统，包括若干数据采集系统，所述数据采集系统分别电性连接有网络摄像头管理系统和不同类型的摄像头，所述网络摄像头管理系统分别电性连接有数据消息系统和存储系统，所述数据消息系统电性连接有数据处理系统，所述数据处理系统分别电性连接有存储系统和管理系统客户端，所述数据采集系统包括FFmpeg、警报装置、管理系统、数据库和一些便捷的API，所述FFmpeg通过API电性连接管理系统，所述管理系统分别电性连接警报装置、数据库和网络摄像头管理系统。本实用新型专利技术具有识别速度快，精度高的特点。

Face recognition monitoring system based on large data structure

The utility model discloses a face recognition system based on monitoring data, including the number of data acquisition system, the data acquisition system is respectively and electrically connected with a network camera management system and different type of camera, the camera network management system is respectively and electrically connected with a data message system and the data storage system. The message system is electrically connected with a data processing system, the data processing system is respectively and electrically connected with a storage system and the client management system, the data acquisition system including FFmpeg, alarm device, management system, database and some convenient API, the FFmpeg by API is electrically connected with the management system, the management system respectively. Electrically connected with the alarm device, database and network camera management system. The utility model has the advantages of fast identification speed and high precision.

【技术实现步骤摘要】

本技术涉及监控系统
，具体为一种基于大数据架构的人脸识别监控系统。
技术介绍
当谈及分布式处理时，我们往往会把它与并行处理加以区分。并行处理是通过多个功能部件或多个处理机同时工作的方式，来提高系统性能和可靠性。而分布式处理是指将不同地点或具有不同功能或拥有不同数据的多台服务器通过通信网络连接起来，在控制系统的统一调度下，完成大规模信息处理任务。每台服务器作为一个节点独立运行，因此某个节点的故障不会影响系统的整体运行。大数据解决方案即是基于分布式的架构，它的相关技术涵盖了数据采集、传输、存储、处理、应用等各个环节。并且具有可存储巨大量信息、可快速分析处理多类型数据两大特点。目前大数据解决架构已经被应用到多个领域和机构，实际应用效用较高。视频监控领域便是其中一个，通过多方面的研究和实践，基于大数据架构的智能监控系统更符合市场需求，也是未来监控系统发展的一大趋势。首先，方案解决了视频监控数据快速增长而带来的难以存储和很难统一管理的问题。其次，它具有的更强的数据处理和分析能力，使系统尽管加入了运算量巨大的智能分析技术也不会大幅降低其实时性。由此，视频监控正式进入大数据时代。在大数据时代下，将人脸识别技术加入监控系统中的方案其实早有出现。然而很少能真正应用到实践中，一方面碍于人脸识别算法本身局限性，在应用场景条件相对较差的情况下，很难收集到准确的人脸信息，导致人脸识别的成功率会大幅下降；另一方面，在场景比较复杂，场景内人数较多时，会出现错漏识别的情况。造成目前人脸识别技术更多地只能运用在单个人脸的识别场景中，如支付宝中的人脸支付。为此，我们提出一种基于大数据架构的人脸识别监控系统。
技术实现思路
本技术的目的在于提供一种基于大数据架构的人脸识别监控系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本技术提供如下技术方案：一种基于大数据架构的人脸识别监控系统，包括若干数据采集系统，所述数据采集系统分别电性连接有网络摄像头管理系统和不同类型的摄像头，所述网络摄像头管理系统分别电性连接有数据消息系统和存储系统，所述数据消息系统电性连接有数据处理系统，所述数据处理系统分别电性连接有存储系统和管理系统客户端。优选的，所述数据采集系统包括FFmpeg、警报装置、管理系统、数据库和一些便捷的API，所述FFmpeg通过API电性连接管理系统，所述管理系统分别电性连接警报装置、数据库和网络摄像头管理系统。优选的，所述数据消息系统为Kafka消息系统。优选的，所述数据处理系统为Spark实时数据处理平台。优选的，所述存储系统由Hive和HBase组成，所述HBase进行短期的元数据存储，所述Hive进行长期的元数据存储。优选的，所述网络摄像头管理系统电性连接有HDFS。与现有技术相比，本技术的有益效果是：本技术具有识别速度快，精度高的特点。系统引用FFmpeg这一套开源计算机工具，该组件可以完成视频采集、视频编解码、视频格式转换、视频截图、视频标准化等任务。在本系统的源数据支持结构中，它发挥着统一图像规格、色彩标准化、视频解码、视频标准化的作用。一方面它可以对IPCamera获得的实时数据进行编解码等工作，另一方面它也可以拉取NVR的历史数据进行标准化，保证实时产生的数据和历史数据的不丢失。系统引入Kafka消息系统进行数据缓存，Kafka是一种高吞吐量的分布式发布订阅消息系统，具有良好的容错能力。它将数据流进行平峰，保障系统的持续可用性，并且缓存机制保证了传输过来的数据每一帧都不会丢失，确保数据完整无误。系统采用Spark实时数据处理平台，能够快速实现应用，有更简洁的代码，安装部署也无需复杂的配置，减轻系统的开发压力。系统分别使用Hive和HBase进行存储，Hive本身支持HBase文件，所以转存时不用做任何修改。相较于以往的监控系统存储，Hive集群的搭建更为廉价，同时它支持索引，将元数据保存在关系数据库中，对于压缩数据的读取更加便捷快速。设置有HDFS，HDFS能提供高吞吐量的数据访问，并且HDFS有着高容错性的特点。附图说明图1为本技术结构示意图；图2为本技术数据采集系统结构示意图；图3为本技术数据消息系统工作示意图；图4为本技术数据处理系统工作示意图。具体实施方式下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。请参阅图1-4，本技术提供一种技术方案：一种基于大数据架构的人脸识别监控系统，包括若干数据采集系统，所述数据采集系统分别电性连接有网络摄像头管理系统和不同类型的摄像头，网络摄像头管理系统电性连接有HDFS，所述网络摄像头管理系统分别电性连接有数据消息系统和存储系统，存储系统由Hive和HBase组成，所述HBase进行短期的元数据存储，所述Hive进行长期的元数据存储，数据消息系统为Kafka消息系统，所述数据消息系统电性连接有数据处理系统，数据处理系统为Spark实时数据处理平台，所述数据处理系统分别电性连接有存储系统和管理系统客户端，所述数据采集系统包括FFmpeg、警报装置、管理系统、数据库和一些便捷的API，所述FFmpeg通过API电性连接管理系统，所述管理系统分别电性连接警报装置、数据库和网络摄像头管理系统。本技术具有识别速度快，精度高的特点。系统引用FFmpeg这一套开源计算机工具，该组件可以完成视频采集、视频编解码、视频格式转换、视频截图、视频标准化等任务。在本系统的源数据支持结构中，它发挥着统一图像规格、色彩标准化、视频解码、视频标准化的作用。一方面它可以对IPCamera获得的实时数据进行编解码等工作，另一方面它也可以拉取NVR的历史数据进行标准化，保证实时产生的数据和历史数据的不丢失。系统引入Kafka消息系统进行数据缓存，Kafka是一种高吞吐量的分布式发布订阅消息系统，具有良好的容错能力。它将数据流进行平峰，保障系统的持续可用性，并且缓存机制保证了传输过来的数据每一帧都不会丢失，确保数据完整无误。系统采用Spark实时数据处理平台，能够快速实现应用，有更简洁的代码，安装部署也无需复杂的配置，减轻系统的开发压力。系统分别使用Hive和HBase进行存储，Hive本身支持HBase文件，所以转存时不用做任何修改。相较于以往的监控系统存储，Hive集群的搭建更为廉价，同时它支持索引，将元数据保存在关系数据库中，对于压缩数据的读取更加便捷快速。设置有HDFS，HDFS能提供高吞吐量的数据访问，并且HDFS有着高容错性的特点。尽管已经示出和描述了本技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本技术的范围由所附权利要求及其等同物限定。本文档来自技高网...

【技术保护点】
一种基于大数据架构的人脸识别监控系统，包括若干数据采集系统，其特征在于：所述数据采集系统分别电性连接有网络摄像头管理系统和不同类型的摄像头，所述网络摄像头管理系统分别电性连接有数据消息系统和存储系统，所述数据消息系统电性连接有数据处理系统，所述数据处理系统分别电性连接有存储系统和管理系统客户端。

【技术特征摘要】
1.一种基于大数据架构的人脸识别监控系统，包括若干数据采集系统，其特征在于：所述数据采集系统分别电性连接有网络摄像头管理系统和不同类型的摄像头，所述网络摄像头管理系统分别电性连接有数据消息系统和存储系统，所述数据消息系统电性连接有数据处理系统，所述数据处理系统分别电性连接有存储系统和管理系统客户端。2.根据权利要求1所述的一种基于大数据架构的人脸识别监控系统，其特征在于：所述数据采集系统包括FFmpeg、警报装置、管理系统、数据库和一些便捷的API，所述FFmpeg通过API电性连接管理系统，所述管理系统分别电性连接警报装置、数据库和网络摄...

【专利技术属性】
技术研发人员：丁宇轩，
申请(专利权)人：海南思蓝网络科技有限公司，
类型：新型
国别省市：海南;46