一种摄像头视频数据处理方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种摄像头视频数据处理方法、系统、设备及存储介质，涉及视频技术领域中的摄像头图像数据的处理，其目的在于解决现有的处理器对摄像头产生的打包后的视频进行分析时分析效率较低的技术问题。其包括：获取摄像头的传感器的原始视频图像数据；摄像头的主控芯片对原始视频图像数据进行分析，并将每张原始视频图像数据的分析结果存储进LOG文件；将摄像头获取的原始视频图像数据进行打包，并连同LOG文件存储于摄像头的本地存储模块内。通过先对传感器采集的原始图像进行AI识别，并将识别结果存入LOG文件中，然后将原始图像打包成视频，并对LOG文件以及视频进行存储，原始图像的分析效率大大提升。图像的分析效率大大提升。图像的分析效率大大提升。

【技术实现步骤摘要】
一种摄像头视频数据处理方法、系统、设备及存储介质


[0001]本专利技术属于视频
，涉及一种摄像头图像数据的处理，尤其涉及一种摄像头视频数据处理方法、系统、设备及存储介质。

技术介绍

[0002]由于近几年基于神经网络大模型相关的AI能力在快速发展，越来越多在以前属于专有领域的AI分析需求现在也在转向使用AI大模型，譬如ChatGPT等。从科学技术的发展角度看，未来通过通用大模型来解决摄像头的视频分析需求会成为主流，大模型和摄像头之间的互动也不是单向的，除了摄像头数据的调用和查找，也会存在针对现实事件的判断反向对摄像头以及相关的传感器进行控制和调用。但是由于摄像头产生的视频文件尺寸极大，同时各行各业无论是监控安防需求还是AI运营需求的摄像头的数量也非常多，每个摄像头每分每秒都在产生成兆的数据量，而这么大的数据源如果直接喂给神经网络大模型，再大的服务器也是吃不消的，更何况实时摄像头的控制和调用对延迟要求就更加苛刻了。如，申请号为202310549343.2的专利技术专利申请就提供了一种多路视频流的AI异步检测并实时渲染方法及系统，其包括以下步骤：S1、多路摄像头通过视频解码模块拆帧得到各帧图像，最新帧图像记为第N帧图像；S2、AI检测引擎模块根据自身性能评估抽帧间隔确定相应的检测算法模型，每隔固定的时间周期从S1中获取的第N帧图像送入检测算法模型进行相关的检测与识别。
[0003]为了解决上述问题，各个厂商往往选择三种方案：(1)云端服务器实时分析或按需分析；(2)局域网搭建服务器辅助分析；(3)提高设备算力将模型搭载至摄像机产品内。以上三种方案在实现和技术拓展过程中都存在比较严重的问题导致现在任何一种方案都无法在市场上获得消费者的认可：(1)当前无论是行业大厂还是一些地方政府都在数年前提出了“行业大脑”、“城市大脑”的概念并针对视频的分析能力进行了专门的升级。但是算力的发展速度无论如何都无法赶上摄像头安装数量的增长速度，同时各行各业都存在巨大的“利旧设备”，考虑到以上的所有视频，则达到数百PB级别的数据，针对实时分析，暂不说云端的存储，即便是传输到云端，对网络都是一种挑战。所以大多数“云脑”是按照按需分析的方案进行设计的，但是由于用户的需求(可能来源于政府、公安、运营者或上下游的行业需求)灵活多变，除非一些专有的需求外，想要满足海量数据的查找、定位和分析是一件比较困难的事情；(2)在一些数据价值比较高的行业中，出于数据传输带宽和数据安全的考量，用户选择了局域网搭建AI服务器分析，这样可以针对摄像头数量、数据生成量以及AI分析需求专门定制服务器，可以满足当下行业客户的需求。但是这种方案一方面面临的成本极高，而且在大多数情况下服务器的利用率较低存在浪费，同时整套系统的可拓展能力较低，难以满足客户灵活升级的需求；(3)现在也有一些产品开发能力较强的用户使用更强大的处理器搭载到摄像机中，尝试在摄像机内实现大模型的搭载，本地化解决AI分析的需求。不过这种方案会在批量的生产制造中遇到困难，一方面这样设计出的产品成本较高，消费者难以承受，另一方面摄像头本身在设计上要求尺寸小巧和美观，无法像电脑或主机一样拥
有完善的散热系统，以当下芯片的计算能力来看，产品的散热、功耗和稳定性都会受到较大的挑战。
[0004]现有技术中，无论是云端服务器、局域网搭建服务器，还是在摄像机内搭载处理器，其都是摄像机的传感器产生的图像打包后输送至计算单元，计算单元再对打包的图像进行识别、分析，得到分析结果。但是，这种图像分析方式，可以解决部分专有的图像应用需求，但是很难解决泛化的图像需求。并且解析后的信息无法和原始图像强关联并复用，更无法和大模型技术有效的配合使用。
[0005]此外，由于以上原因的分析，无论是在云端、边侧还是产品端侧，如果把摄像头的数据直接喂给GPT一类的通用大模型，都会遇到各种各样的问题(带宽、算力、成本等)，其本质的原因就是摄像头原始的数据量过大所导致。这迫使无论多强大的AI大模型都需要摄像头在提供数据前先提供一个视频的目录，也就是摄像头的事件记录文件(LOG)，先让大模型在目录中先筛选出可能会对用户(或用户的问题)有价值的那一段内容，再进行传输和分析，这样可以大大的优化摄像头超大数据量缩带来的带宽、算力、成本等问题。
[0006]当前行业里各种各样的摄像头产品大多数是具有LOG文件的，传统的摄像机LOG文件一般是厂商出于以下2个原因来进行设计、开发和使用的：(1)基于产品开发和debug的需求；(2)基于产品售后服务的需求。而当前的这些LOG文件无论是格式还是记录的内容都无法被AI大模型所用，其主要原因是：(1)基于产品开发和debug的需求所设计的LOG更多是在摄像头的功能(联网、音视频、平台交互等)的关键过程项中打标签，这样方便在产品出现问题的时候得到有效的过程参数帮助发现问题的根源，这种LOG会在产品开发的过程中使用，在产品正式量产出货后大多数就停用，显然是无法帮助AI做事件的寻址的；(2)基于产品的售后需求的LOG一般是为了方便产品在使用过程中出现问题以后，厂商方便快速的远程定位问题确认售后的服务细节的。同时也有一些LOG是出于数据的安全和客户的隐私考虑而设计的。这一类LOG也是无法被AI大模型所有效使用的。除此之外，两个LOG信息也无法指导摄像头进行反向对控制和调用。
[0007]基于以上分析，当前在摄像头行业中，专门为AI大模型搜索，帮助大模型提高索引的效率快速定位目标视频文件的LOG文件还处于空白，这也催生了本专利技术的技术。

技术实现思路

[0008]本专利技术的目的在于：为了解决上述现有技术中存在的处理器对摄像头产生的打包后的视频进行分析时分析效率较低的技术问题，本专利技术提供一种摄像头视频数据处理方法、系统、设备及存储介质。
[0009]本专利技术为了实现上述目的具体采用以下技术方案：
[0010]一种摄像头视频数据处理方法，包括以下步骤：
[0011]获取摄像头的传感器的原始视频图像数据；
[0012]摄像头的主控芯片对原始视频图像数据进行分析，并将每张原始视频图像数据的分析结果存储进LOG文件；
[0013]将摄像头获取的原始视频图像数据进行打包，并连同LOG文件存储于摄像头的本地存储模块内。
[0014]进一步地，主控芯片采用具有冗余计算能力的图像处理芯片。
[0015]进一步地，LOG文件中记录有设备固定信息、设备低频信息以及设备高频信息；
[0016]设备固定信息包括设备基本信息、网络信息、夜视信息、录像信息、网络信息、接口信息、媒体信息、云台信息、存储信息、指示灯信息和时间板块信息；
[0017]设备低频信息包括设备基本信息、网络信息、夜视信息、录像信息、网络信息、接口信息、媒体信息、云台信息、存储信息、指示灯信息和时间板块信息；
[0018]设备高频信息包括时间板块信息、移动侦测信息、人形侦测信息、分类信息、人脸识别信息、人形识别信息、云台角度信息、异常声音采集信息、资源消耗信息以及平台配置板块信息。...

【技术保护点】

【技术特征摘要】
1.一种摄像头视频数据处理方法，其特征在于，包括以下步骤：获取摄像头的传感器的原始视频图像数据；摄像头的主控芯片对原始视频图像数据进行分析，并将每张原始视频图像数据的分析结果存储进LOG文件；将摄像头获取的原始视频图像数据进行打包，并连同LOG文件存储于摄像头的本地存储模块内。2.如权利要求1所述的一种摄像头视频数据处理方法，其特征在于：主控芯片采用具有冗余计算能力的图像处理芯片。3.如权利要求1所述的一种摄像头视频数据处理方法，其特征在于：LOG文件中记录有设备固定信息、设备低频信息以及设备高频信息；设备固定信息包括设备基本信息、网络信息、夜视信息、录像信息、网络信息、接口信息、媒体信息、云台信息、存储信息、指示灯信息和时间板块信息；设备低频信息包括设备基本信息、网络信息、夜视信息、录像信息、网络信息、接口信息、媒体信息、云台信息、存储信息、指示灯信息和时间板块信息；设备高频信息包括时间板块信息、移动侦测信息、人形侦测信息、分类信息、人脸识别信息、人形识别信息、云台角度信息、异常声音采集信息、资源消耗信息以及平台配置板块信息。4.如权利要求3所述的一种摄像头视频数据处理方法，其特征在于：LOG文件采用json、xml或protobuf的结构进行记录，单条信息技术后的数据经过加密后进行存储。5.如权利要求1所述的一种摄像头视频数据处理方法，其特征在于：LOG文件中音视频信息的生成过程为：主控芯片接收到来自外部信号的音视频的中段后，主控芯片对音视频数据进行采集，分别生成音频的原始PCM数据和视频的原始图像数据，分别记录音视频数据采集时刻的UTC毫秒级时间戳，UTC毫秒级时间戳将随原始PCM数据、原始图像数据向后传递；原始PCM数据经过编码器生成音频编码数据；原始图像数据分为两路，一路经过视频编码器生成视频编码数...

【专利技术属性】
技术研发人员：张恩泽，成茵，胡志发，窦诚诚，张现阳，焦坦，肖雄，
申请(专利权)人：成都易瞳科技有限公司，
类型：发明
国别省市：