本发明专利技术涉及大数据技术领域，尤其为基于大数据冗余分析的安防监控信息存储系统及方法，包括：视频采集模块，用于采集并实时传输安防监控视频数据；数据传输模块，用于将采集到的视频数据通过有线或无线网络传输至存储服务器；数据冗余分析模块，用于对接收到的视频数据进行冗余分析，去除重复和无用的数据；存储服务器，用于存储经处理后的安防监控视频数据，并提供高效的读写功能；本发明专利技术中，通过结合波动分析算法和基于机器学习的特征提取算法，实现对视频数据的冗余检测和数据清洗，有效减少数据冗余，提高存储效率；波动特征值和机器学习特征值的计算模型，保证了重复数据的精确检测和去除。
【技术实现步骤摘要】
本专利技术涉及大数据，具体为基于大数据冗余分析的安防监控信息存储系统及方法。
技术介绍
1、随着现代社会的发展，安防监控系统在公共安全、企业安保、家庭安全等多个领域得到了广泛应用。传统的安防监控系统主要依赖于连续的视频监控和数据存储，但随着监控范围的扩大和高清监控设备的普及，产生的视频数据量急剧增加，给存储系统带来了巨大的压力。此外，传统的存储方法存在数据冗余严重、检索效率低、存储成本高等问题，无法满足当前智能安防系统的需求。
2、大数据技术的发展为安防监控系统的数据存储和管理提供了新的解决方案。通过对视频数据进行冗余分析、数据清洗、特征提取和异常检测，可以有效地减少存储空间，提高数据处理和检索效率。然而，现有技术中，如何高效地对海量视频数据进行实时处理和存储，仍然面临许多技术难题。
3、现有的安防监控信息存储系统通常采用集中式存储架构，易造成单点故障，无法充分利用分布式存储的优势。此外，在数据传输和存储过程中，数据的安全性也未得到充分保障，容易导致数据泄露和篡改，因此，针对上述问题提出基于大数据冗余分析的安防监控信息存储系统及方法。
技术实现思路
1、本专利技术的目的在于提供基于大数据冗余分析的安防监控信息存储系统及方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、基于大数据冗余分析的安防监控信息存储系统，包括：
4、视频采集模块，用于采集并实时传输安防监控视频数据；
<
p>5、数据传输模块，用于将采集到的视频数据通过有线或无线网络传输至存储服务器；6、数据冗余分析模块，用于对接收到的视频数据进行冗余分析，去除重复和无用的数据；
7、存储服务器，用于存储经处理后的安防监控视频数据，并提供高效的读写功能；
8、数据检索模块，用于根据用户请求高效检索存储服务器中的视频数据；
9、安全模块，用于确保传输和存储数据的安全性，通过加密技术保护数据的完整性和隐私性。
10、优选的，所述数据冗余分析模块包括：
11、数据预处理单元，用于对接收到的视频数据进行格式转换、分帧处理以及基础预处理；
12、重复数据检测单元，用于检测视频数据中的重复内容，通过计算哈希值及内容特征实现高效检测；
13、数据清洗单元，用于清除检测到的重复数据和无用数据，保证存储数据的唯一性和有效性。
14、优选的，所述重复数据检测单元通过结合哈希算法和内容特征提取算法进行重复数据检测，具体计算公式如下：
15、
16、其中，h(v)表示视频数据，v的加权哈希值，vi表示第i帧视频帧，f表示哈希函数，wi表示第i帧的权重系数。
17、优选的，所述内容特征提取算法采用基于深度学习的特征提取方法，计算公式如下：
18、
19、其中，c(v)表示视频数据v的综合特征值，fi表示第i帧的特征向量，g表示特征提取函数，si表示第i帧的特征权重。
20、优选的，所述存储服务器采用分布式存储架构，包括多个互联存储节点，节点之间通过高速网络实现数据传输和同步，具体包括以下功能：
21、冗余存储管理，通过分布式文件系统实现数据的冗余存储，提高数据存储的可靠性；
22、负载均衡，通过负载均衡算法优化数据读取和写入性能，防止单点瓶颈；
23、数据分片与合并，采用数据分片技术将大规模视频数据划分为若干小片段存储，并在需要时进行数据片段的合并与重构，具体计算模型如下：
24、
25、其中，s(v)表示视频数据v的分片集合，p(vi)表示第i个视频片段。
26、优选的，还包括：
27、异常检测模块，用于监控系统运行状态和视频数据质量，通过对视频数据进行实时分析，检测异常情况并进行报警，具体检测算法包括基于机器学习的异常检测模型，计算公式如下：
28、
29、其中，a(v)表示视频数据v的异常值，fi表示第i帧的特征向量，h表示异常检测函数，θ表示模型参数。
30、基于大数据冗余分析的安防监控信息存储方法，包括以下步骤：
31、步骤一：采集安防监控视频数据，通过视频采集模块实时采集监控区域内的视频数据；
32、步骤二：将采集到的视频数据传输到存储服务器，通过数据传输模块采用有线或无线网络进行传输；
33、步骤三：对接收到的视频数据进行冗余分析，通过数据冗余分析模块对视频数据进行格式转换、分帧处理、重复数据检测和数据清洗；
34、步骤四：存储处理后的安防监控视频数据，将清洗后的视频数据存储在分布式存储系统中；
35、步骤五：根据用户请求检索存储服务器中的视频数据，通过数据检索模块实现高效的数据检索和调取。
36、优选的，步骤三中进行冗余分析包括：
37、对视频数据进行格式转换和分帧预处理，保证后续处理的统一性；
38、通过结合哈希算法和基于深度学习的特征提取算法检测视频数据中的重复内容，具体计算公式如下：
39、
40、其中，w(v)表示视频数据v的波动特征值，表示第i帧视频在时间维度上的变化率，αi表示第i帧的波动权重系数；m(v)表示视频数据v的机器学习特征值，fi表示第i帧的特征向量，k表示特征提取函数，φ表示模型参数，βi表示第i帧的特征权重。
41、优选的，步骤四中存储处理后的视频数据采用分布式存储系统，该系统包括多个存储节点，节点之间通过高速网络互联，实现数据的冗余存储和负载均衡，以提高数据存储的可靠性和读取速度。具体实现方式包括：
42、数据分片与重组技术，将大规模视频数据分片存储，以提高存储和读取效率，并在需要时进行数据片段的重组；
43、分布式文件系统架构，采用分布式文件系统实现数据的可靠存储和高效访问；
44、数据同步与一致性算法，通过多节点间的数据同步与一致性算法，确保数据的高可用性和安全性，具体算法如下：
45、
46、其中，s(v)表示视频数据v的同步特征值，di表示第i数据片段，ti表示传输时间，γi表示第i数据片段的同步权重。
47、优选的，还包括：
48、在检测到异常情况时向用户发送实时报警信息，并提供详细的异常情况日志和相关视频片段的步骤，通过报警模块实现对异常情况的实时监控和报警功能。异常检测采用基于时间序列分析和模式识别的算法，通过对视频数据的实时分析，计算异常值e(v)，具体计算公式如下：
49、
50、其中，e(v)表示视频数据v的异常值，r表示基于时间序列分析的异常检测函数，μ和σ分别表示时间序列的均值和标准差，δi表示第i帧的异常检测权重。
51、与现有技术相比，本专利技术的有益效果是：
5本文档来自技高网
...
【技术保护点】
1.基于大数据冗余分析的安防监控信息存储系统，其特征在于：包括：
2.根据权利要求1所述的基于大数据冗余分析的安防监控信息存储系统，其特征在于：所述数据冗余分析模块包括：
3.根据权利要求2所述的基于大数据冗余分析的安防监控信息存储系统，其特征在于：所述重复数据检测单元通过结合哈希算法和内容特征提取算法进行重复数据检测，具体计算公式如下：
4.根据权利要求3所述的基于大数据冗余分析的安防监控信息存储系统，其特征在于：所述内容特征提取算法采用基于深度学习的特征提取方法，计算公式如下：
5.根据权利要求1所述的基于大数据冗余分析的安防监控信息存储系统，其特征在于：所述存储服务器采用分布式存储架构，包括多个互联存储节点，节点之间通过高速网络实现数据传输和同步，具体包括以下功能：
6.根据权利要求1所述的基于大数据冗余分析的安防监控信息存储系统，其特征在于：还包括：
7.基于大数据冗余分析的安防监控信息存储方法，其特征在于：包括以下步骤：
8.根据权利要求7所述的基于大数据冗余分析的安防监控信息存储方法，其特征在于：步骤三中进行冗余分析包括：
9.根据权利要求7所述的基于大数据冗余分析的安防监控信息存储方法，其特征在于：步骤四中存储处理后的视频数据采用分布式存储系统，该系统包括多个存储节点，节点之间通过高速网络互联，实现数据的冗余存储和负载均衡，以提高数据存储的可靠性和读取速度；具体实现方式包括：
10.根据权利要求7所述的基于大数据冗余分析的安防监控信息存储方法，其特征在于：还包括：
...
【技术特征摘要】
1.基于大数据冗余分析的安防监控信息存储系统，其特征在于：包括：
2.根据权利要求1所述的基于大数据冗余分析的安防监控信息存储系统，其特征在于：所述数据冗余分析模块包括：
3.根据权利要求2所述的基于大数据冗余分析的安防监控信息存储系统，其特征在于：所述重复数据检测单元通过结合哈希算法和内容特征提取算法进行重复数据检测，具体计算公式如下：
4.根据权利要求3所述的基于大数据冗余分析的安防监控信息存储系统，其特征在于：所述内容特征提取算法采用基于深度学习的特征提取方法，计算公式如下：
5.根据权利要求1所述的基于大数据冗余分析的安防监控信息存储系统，其特征在于：所述存储服务器采用分布式存储架构，包括多个互联存储节点，节点之间通过高速网络实现数据传输和...
【专利技术属性】
技术研发人员：郭瑞瑞，吴海阳，胡林杰，
申请(专利权)人：深圳市宏图物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。