一种嵌入式智能NVR硬件系统技术方案

本发明专利技术公开了一种嵌入式智能NVR硬件系统，包含NVR子系统、智能分析子系统和电源模块，NVR子系统实现常规NVR系统功能，智能分析子系统实现视频分析、结构化信息提取和结构化数据存储，NVR子系统包括视频解码模块、视频存储模块和外部接口；智能分析子系统包含智能分析模块和结构化数据存储模块，智能分析模块包含深度学习处理器芯片，对经视频解码模块解码后的非压缩视频数据进行处理，提取视频数据中的结构化数据，实现在线实时智能视频分析处理；所述海量视频数据和结构化数据分别存储在不同的Track，通过时戳关联。本发明专利技术提高了视频数据中的结构化信息提取的实时性，也提高了结构化信息数据和视频流数据存储和检索的效率，减少了冗余数据。

An Embedded Intelligent NVR Hardware System

The invention discloses an embedded intelligent NVR hardware system, which includes NVR subsystem, intelligent analysis subsystem and power module, NVR subsystem realizes the functions of conventional NVR system, intelligent analysis subsystem realizes video analysis, structured information extraction and structured data storage, and NVR subsystem includes video decoding module, video storage module and external interface. Intelligent analysis module includes intelligent analysis module and structured data storage module. Intelligent analysis module includes deep learning processor chip, which processes uncompressed video data decoded by video decoding module, extracts structured data from video data, and realizes online real-time intelligent video analysis and processing. The massive video data and structured data are stored in different Tracks, respectively. Time stamp association. The invention improves the real-time performance of structured information extraction in video data, improves the efficiency of storage and retrieval of structured information data and video stream data, and reduces redundant data.

【技术实现步骤摘要】
一种嵌入式智能NVR硬件系统
本专利技术属于图像通信
，涉及对视频大数据的分析和信息挖掘，具体涉及一种嵌入式智能NVR硬件系统。
技术介绍
NVR(NetworkVideoRecorders)，是一个以网际网络IP协议为基础的网络设备，NVR的相关功能运行全部基于IP架构，可以透过局域网或广域网对其进行远端管理，在构架网络视频监控系统时就具有较强的灵活性，而且支持远端存取并记录IP摄像机或DVS所拍摄的视频码流，因此受到安防等行业的广泛青睐。随着我国智慧城市、平安城市、雪亮工程等战略的深入实施，公共安全视频共享平台的逐渐完善，视频监控不断普及，实施点位不断增加，视频海量数据的存取对实时有效的技术防范提出挑战。采用计算机视觉、图像处理、模式识别等人工智能手段，通过对视频数据进行实时分析处理，形成结构化数据和预警信息已经是发展趋势。让海量的视频数据被有效地利用，需要实现对视频大数据的分析和信息挖掘，首先要解决视频数据的结构化问题。视频结构化是一种将视频内容中的纹理、色彩、线条、特征、模式、运动、结构等语义信息进行结构化提取的技术，利用它对视频内容按照语义关系，采用时空分割、特征提取、对象识别、深度学习等处理手段，组织成可供计算机和人理解的文本信息或可视化图形信息。传统的方案下，视频经过采集传输存储，然后由视频分析服务器实现结构化。采用目标检测、对象识别、深度学习等分析手段提取视频图像中的目标对象及运动轨迹；对目标对象进行分类，形成为人、车辆、行为、事件等不同类别；进一步提取目标的高层结构化属性特征包括目标颜色特征、分类特征、速度特征等，并把目标的轨迹信息以及高层特征形成高效的索引数据进行结构化检索。这种通用的视频分析服务器方案，需要用服务器进行解码识别，由于总线数据吞吐、内存访问带宽都受到局限，单路视频服务器方案证明不经济，而多路视频共享服务器方案会出现系统之间耦合度高、稳定差的缺陷，另外多路服务器方案还会导致负荷重、任务切换频繁和实时性较差的问题。
技术实现思路
本专利技术针对上述问题提出一种在线智能视频分析硬件模块(NVR+智能分析)的解决方案，通过采用稳定性好、能耗低的嵌入式SOC方案，通过专用深度学习智能分析模块实现视频结构化，同时，本系统支持以刀片机形式组成服务器，实现多路视频流结构化分析，以降低视频数据结构化产品的系统复杂度，提高系统稳定性、实施方便性和管理高效性。为达到上述目的，本专利技术提出的技术方案为一种嵌入式智能NVR硬件系统，其包含NVR子系统、智能分析子系统和电源模块，NVR子系统实现常规NVR系统功能，智能分析子系统实现视频分析、结构化信息提取和结构化数据存储，电源模块给前述两个系统提供电源；NVR子系统包括视频解码模块、视频存储模块和外部接口，视频解码模块包含NVRSoC(SystemonChip)处理芯片，负责处理来自网络摄像机实时视频压缩流和人机交互控制命令，实现对NVR管理和控制，视频存储模块负责海量视频数据存储；智能分析子系统包含智能分析模块和结构化数据存储模块，智能分析模块包含深度学习处理器芯片，对经视频解码模块解码后的非压缩视频数据进行处理，提取视频数据中的结构化数据，实现在线实时智能视频分析处理；所述海量视频数据和结构化数据分别存储在不同的Track，通过时戳TimeStamp关联。鉴于海量视频数据吞吐存储与结构化少量数据的频繁访问具有不同的特性，对于硬盘等存储媒体采用不同的存取机制，有利于提高存储媒体的存取效率和延长存储媒体使用寿命，上述海量视频数据可采用优化的物理上连续存储机制，定期滚动式覆盖。上述结构化数据的存储采用信息数据库存储方法。作为优选，上述外部接口包括千兆网络、USB接口、HDMI/VGA/CVBS视频接口、音频接口、串口、报警输入输出。作为优选，上述人机交互控制命令的获取途径包括网络、USB、串口或IR红外遥控器。进一步，可以扩展GPIO为报警输入输出接口，实现本地报警联动功能。进一步，上述智能分析子系统的深度学习处理器芯片提取视频数据中的结构化信息发送给NVR子系统，进行数据量小的矢量数据存储。作为优选，上述结构化信息为语义特征描述。作为优选，上述结构化信息通过SPI总线发送给NVR子系统。与现有技术相比，本专利技术的有益效果在于：1，在视频数据采集的同时进行视频智能分析，形成结构化信息，信息提取的实时性非常高、延时小；2，结构化数据和视频流数据分别存储在不同的Track，通过时戳TimeStamp关联，可以提高系统存储、传输和检索的效率；3，鉴于海量视频数据吞吐存储与结构化少量数据的频繁访问具有不同的特性，本专利技术对于硬盘等存储媒体采用不同的存取机制，有利于提高存储媒体的存取效率和延长存储媒体使用寿命；4，本系统中视频存取与智能分析模块实现了共享电源管理、通信网络、通用处理控制模块与外设接口；5，针对现有技术方案存在的采用服务器去解码识别导致的总线数据吞吐、内存访问带宽都受到局限的问题，本系统中采用多个在线智能视频分析硬件模块(NVR+智能分析)，通过刀片机形式可以组成集群服务器，比如每四个摄像头对应一个刀片，存储、智能分析，从而提升系统容量，降低实施复杂度，降低系统成本。附图说明图1为嵌入式智能NVR硬件系统的原理框图。图2为嵌入式智能NVR硬件系统的一个实施例的原理图。图3为嵌入式智能NVR硬件系统的数据处理流程图。图4为嵌入式智能NVR硬件系统的深度学习神经网络训练流程示意图。图5为嵌入式智能NVR硬件系统的深度学习提取结构化特征矢量流程图。图6为嵌入式智能NVR硬件系统的一个实施例的电路模块图。具体实施方式现结合附图对本专利技术的具体实施方式作进一步的说明。图1所示为嵌入式智能NVR硬件系统原理框图，可见本系统包含NVR子系统、智能分析子系统和电源模块。NVR子系统的作用是实现常规NVR系统功能，智能分析子系统是实现视频分析、结构化信息提取和结构化数据存储，电源模块给前述两个系统提供电源。NVR子系统进一步包括视频解码模块、视频存储模块和外部接口，其中，视频解码模块包含NVRSoC处理芯片，负责处理来自网络摄像机实时视频压缩流和人机交互控制命令，实现对NVR管理和控制，视频存储模块负责海量视频数据存储。SoC(System-on-Chip)指的是在单个芯片上集成一个完整的系统，对所有或部分必要的电子电路进行包分组的技术。SoC是与其它技术并行发展的，如绝缘硅(SOI)，它可以提供增强的时钟频率，从而降低微芯片的功耗。由于空前的高效集成性能，SoC是替代集成电路的主要解决方案。SoC已经成为当前微电子芯片发展的必然趋势。智能分析子系统包含智能分析模块和结构化数据存储模块，智能分析模块包含深度学习处理器芯片，其作用是对经视频解码模块解码后的非压缩视频数据进行处理，提取视频数据中的结构化数据，实现在线实时智能视频分析处理。网络芯片负责接入来自网络摄像机实时视频压缩流和来自用户对NVR的操作命令，传输给NVRSoC处理芯片，实现对NVR管理和控制。网络高清摄像机数据带宽较大，一般都通过千兆网络交换机接入，所以系统中一般采用千兆网络接口芯片。视频解码模块负责解码接收到的多路网络视频流，实现NVR可视化人机交互管理和控制，同时，提供解码后的非压缩视频数本文档来自技高网...

【技术保护点】
1.一种嵌入式智能NVR硬件系统，其特征在于，包含NVR子系统、智能分析子系统和电源模块，NVR子系统实现常规NVR系统功能，智能分析子系统实现视频分析、结构化信息提取和结构化数据存储，电源模块给前述两个系统提供电源；NVR子系统包括视频解码模块、视频存储模块和外部接口，视频解码模块包含NVR SoC处理芯片，负责处理来自网络摄像机实时视频压缩流和人机交互控制命令，实现对NVR管理和控制，视频存储模块负责海量视频数据存储；智能分析子系统包含智能分析模块和结构化数据存储模块，智能分析模块包含深度学习处理器芯片，对经视频解码模块解码后的非压缩视频数据进行处理，提取视频数据中的结构化数据，实现在线实时智能视频分析处理；所述海量视频数据和结构化数据分别存储在不同的Track，通过时戳关联。

【技术特征摘要】
2018.09.30 CN 20181115933481.一种嵌入式智能NVR硬件系统，其特征在于，包含NVR子系统、智能分析子系统和电源模块，NVR子系统实现常规NVR系统功能，智能分析子系统实现视频分析、结构化信息提取和结构化数据存储，电源模块给前述两个系统提供电源；NVR子系统包括视频解码模块、视频存储模块和外部接口，视频解码模块包含NVRSoC处理芯片，负责处理来自网络摄像机实时视频压缩流和人机交互控制命令，实现对NVR管理和控制，视频存储模块负责海量视频数据存储；智能分析子系统包含智能分析模块和结构化数据存储模块，智能分析模块包含深度学习处理器芯片，对经视频解码模块解码后的非压缩视频数据进行处理，提取视频数据中的结构化数据，实现在线实时智能视频分析处理；所述海量视频数据和结构化数据分别存储在不同的Track，通过时戳关联。2.根据权利要求1所述的嵌入式智能NVR硬件系统，其特征在于，所述海量视频数据采用连续存储机制，定期滚动式...

【专利技术属性】
技术研发人员：王兴国，陈军辉，穆科明，
申请(专利权)人：南京杰迈视讯科技有限公司，
类型：发明
国别省市：江苏,32