一种大数据视频存储方法及系统技术方案

本发明专利技术涉及一种大数据视频存储方法及系统，涉及计算机技术的技术领域。本发明专利技术通过智能预测视频数据的方式，将包含有不同类别预测内容的数据，采用不同信息保留程度的压缩处理，实现对非结构化的视频数据构件信息价值梯度的结构。同时，无需具体预测视频数据的内容，仅需包含有能涉及到关键信息的目标对象作为依据，并且借助预测工具为可采用保留目标对象信息，而压缩删除非目标对象信息。本发明专利技术可实现快速、高效地预测出监控视频的低价值数据，特别是能进一步压缩具有动态内容而没有价值的视频数据，实现对存储空间的节省；同时，能够高质量地保留高价值的视频数据，便于后续的调用，提升视频数据保存的价值。提升视频数据保存的价值。提升视频数据保存的价值。

【技术实现步骤摘要】
一种大数据视频存储方法及系统


[0001]本专利技术涉及计算机技术的
，尤其是涉及到基于云计算人工智能处理的一种大数据视频存储方法及系统。

技术介绍

[0002]在计算机领域，视频数据实质是由一组连续的图像构成的，对于图像本身而言，是仅包含有表现颜色和亮度等的非结构化数据信息。这类非结构化数据没有显著的规则，也没有预定的数据模型，因而难以进行压缩。随着视频拍摄的日益生活化，视频数据占用的储存资源也随之增加，并将增加用户的成本。随着云储存技术及云计算技术的发展，数据可分布地存储在众多服务器上，为诸如视频监控等行业所形成的大量数据实现便捷保存。然而，云储存仍然需要耗费较高的储存成本，需要对视频数据进行进一步压缩，以节省存储的控制。
[0003]传统的视频数据压缩方案主要是在视频的分辨率、码流率、帧率和存储格式上的改变实现数据的压缩。这将导致关键视频信息的丢失或者模糊，同时仍有大量非关键数据被保存。现有技术中，专利号CN105430480A的一种视频数据存储的方法及系统，其采用的方法和系统，可将视频中相邻的两针尽心比较，将差异值较大的保留，而差异值较小的删除。固然，经删除无动态变化的帧的方式可以保留有价值视频数据，但该技术可达到减省存储空间的效果有限。这一方面是因为出现相邻无动态变换图形帧的情况较少(例如，在闹市区拍摄的监控视频)，另一方面是仍然存在动态变化的帧属于无需保留的无价值信息(例如，拍摄到风吹动垃圾)。
[0004]随着人工智能发展，为视频数据的进一步有甄别的保持提供了可行的基础。特别有，云计算与人工智能的结合，可以快速处理海量的视频，实现有价值视频信息的高质量保存，并节省无价值视频信息的存储空间。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种大数据视频存储方法及系统，可解决在视频数据这类非结构化信息时，现有视频数据的储存方法难以智能地甄别和存储有价值视频信息的问题，进而避免有价值信息为了节省空间以较低的信息量保存，实现节省存储空间的基础上，同时达到有效、安全及稳定地保护视频信息的目的。
[0006]为了实现上述目的，本专利技术可以通过以下的技术方案实现：
[0007]在第一方面，该技术方式是一种大数据视频存储方法，包括：将监控所获得的视频数据存储入大数据集群，并获取待压缩图形帧；将待压缩图形帧进行预处理，得到满足卷积神经网络模型输入要求的预处理帧；将预处理帧输入到经预训练有识别对象集的卷积神经网络模型进行预测，得到已预测图形帧；按照已预测图形帧所包含识别对象信息的差异，确定待压缩图形帧所对应的压缩分类标记；按照压缩分类标记将待压缩图形帧分别进行不同信息保留程度的压缩处理，并将经压缩的视频数据保存。
[0008]上述方法可选有，在识别对象集之内的所有识别对象信息分别属于唯一类别，所述的识别对象信息的差异包括：识别对象信息的类别差异。
[0009]上述方法可选有，所述已预测图形帧包括识别对象信息，以及识别对象信息对应的选中区域；所述压缩方式包括：获取同一压缩分类标记的连续图形帧形成处理集合，根据处理集合的所有选中区域进行交并处理得到选中矩形框，将选中矩形框转换为待压缩图形帧的裁剪框，并且按照裁剪框对待压缩图形帧进行裁剪处理。
[0010]上述方法可选有，所述已预测图形帧包括含有识别对象图形帧，所述的确定待压缩图形帧所对应的压缩分类标记包括：当已预测图形帧包含有第一类别的识别对象信息，则将对应的待压缩图形帧进行第一种压缩处理标识；当已预测图形帧包含有第二类别的识别对象信息而不包含第一分类的识别对象信息，则将对应的待压缩图形帧进行第二种压缩处理标识；当已预测图形帧包含有不属于第一类别和第二类别的识别对象信息，则将对应的待压缩图形帧进行第三种压缩标识；其中，第一种至第三种压缩处理的压缩程度依次递增。
[0011]上述方法可选有，所述的已预测图形帧包括未含识别对象图形帧，所述的确定待压缩图形帧所对应的压缩分类标记还包括：将未含识别对象图形帧所对应的待压缩图形帧进行第四种压缩处理标识；其中，第一种至第四种压缩处理的压缩程度依次递增。
[0012]上述方法可选有，对于同一压缩分类标记的待压缩图形帧，所述压缩方式为保留待压缩图形帧处理，或者为裁剪压缩待压缩图形帧的处理，或者为减帧压缩待压缩图形帧处理，或者为删除待压缩图形帧处理。
[0013]上述方法可选有，所述的将待压缩图形帧进行预处理包括：将待压缩图形帧分割为主体区域和非主体区域，并对图形帧的主体区域进行预处理：若预设间隔的两图形帧，在主体区域一致性差异不小于预设阈值，则将对应的待压缩图形帧确定为非持续静态的第一类帧集，将第一类帧集进行满足卷积神经网络模型输入要求的预处理帧；若预设间隔的两图形帧，在主体区域一致性差异小于预设阈值，则将对应的待压缩图形帧确定为持续静态的第二类帧集，将第二类帧集进行第五种压缩处理。
[0014]上述方法可选有，所述卷积神经网络模型为YOLO算法的卷积神经网络模型。
[0015]在第二方面，该技术方式是一种大数据视频存储系统，包括：云储存模块，用于存储监控所获得的视频数据，以及已压缩处理的视频数据；处理预测模块，用于从视频数据获取待压缩图形帧，将待压缩图形帧进行预处理并输入到经预训练有识别对象集的卷积神经网络模型进行预测，按照已预测图形帧所包含识别对象信息的类别差异，确定待压缩图形帧所对应的压缩分类标记；压缩处理模块，按照压缩分类标记将待压缩图形帧分别进行不同信息保留程度的压缩处理，获得已压缩处理的视频数据。
[0016]上述系统可选有，所述云储存模块为Hadoop分布式存储集群，所述处理预测模块和压缩处理模块为经API数据接口连接至Hadoop分布式存储集群的服务器；所述的处理预测模块包括：预处理单元，用于将待压缩图形帧分割为主体区域和非主体区域，根据主体区域的图形帧确定非持续静态的第一类帧集和持续静态的第二类帧集，将第一类帧集输出至卷积神经网络模型单元，将第二类帧集输出至压缩处理模块；卷积神经网络模型单元，用于根据预训练的识别对象集中预测待压缩图形帧所包含的识别对象信息；分类判断单元，用于根据识别对象信息的类别差异确定对应待压缩图形帧的压缩处理方式。
[0017]本申请的一种大数据视频存储方法及系统，其工作原理在于：通过智能预测视频数据的方式，将包含有不同类别预测内容的数据，采用不同信息保留程度的压缩处理，实现对非结构化的视频数据构件信息价值梯度的结构。同时，无需具体预测视频数据的内容，仅需包含有能涉及到关键信息的目标对象作为依据，并且借助预测工具为可采用保留目标对象信息，而压缩删除非目标对象信息。
[0018]与现有技术相比，本专利技术有益效果如下：可快速、高效地预测出监控视频的低价值数据，特别是能进一步压缩具有动态内容而没有价值的视频数据，实现对存储空间的节省；同时，能够高质量地保留高价值的视频数据，便于后续的调用，提升视频数据保存的价值。
[0019]下面结合附图对本专利技术作进一步的说明。
附图说明
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据视频存储方法，其特征在于，包括：将监控所获得的视频数据存储入大数据集群，并获取待压缩图形帧；将待压缩图形帧进行预处理，得到满足卷积神经网络模型输入要求的预处理帧；将预处理帧输入到经预训练有识别对象集的卷积神经网络模型进行预测，得到已预测图形帧；按照已预测图形帧所包含识别对象信息的差异，确定待压缩图形帧所对应的压缩分类标记；按照压缩分类标记将待压缩图形帧分别进行不同信息保留程度的压缩处理，并将经压缩的视频数据保存。2.根据权利要求1所述的大数据视频存储方法，其特征在于，在识别对象集之内的所有识别对象信息分别属于唯一类别，所述的识别对象信息的差异包括：识别对象信息的类别差异。3.根据权利要求2所述的大数据视频存储方法，其特征在于，所述已预测图形帧包括识别对象信息，以及识别对象信息对应的选中区域；所述压缩方式包括：获取同一压缩分类标记的连续图形帧形成处理集合，根据处理集合的所有选中区域进行交并处理得到选中矩形框，将选中矩形框转换为待压缩图形帧的裁剪框，并且按照裁剪框对待压缩图形帧进行裁剪处理。4.根据权利要求2所述的大数据视频存储方法，其特征在于，所述已预测图形帧包括含有识别对象图形帧，所述的确定待压缩图形帧所对应的压缩分类标记包括：当已预测图形帧包含有第一类别的识别对象信息，则将对应的待压缩图形帧进行第一种压缩处理标识；当已预测图形帧包含有第二类别的识别对象信息而不包含第一分类的识别对象信息，则将对应的待压缩图形帧进行第二种压缩处理标识；当已预测图形帧包含有不属于第一类别和第二类别的识别对象信息，则将对应的待压缩图形帧进行第三种压缩标识；其中，第一种至第三种压缩处理的压缩程度依次递增。5.根据权利要求4所述的大数据视频存储方法，其特征在于，所述的已预测图形帧包括未含识别对象图形帧，所述的确定待压缩图形帧所对应的压缩分类标记还包括：将未含识别对象图形帧所对应的待压缩图形帧进行第四种压缩处理标识；其中，第一种至第四种压缩处理的压缩程度依次递增。6.根据权利要求1所述的大数据视频存储方法，其特征在于，对于同一压缩分类标记的待压缩...

【专利技术属性】
技术研发人员：林金怡，邹西山，邓宇翔，胡高生，李韩，
申请(专利权)人：联通沃音乐文化有限公司，
类型：发明
国别省市：