【技术实现步骤摘要】
本专利技术涉及数据集成处理，具体为一种基于高频存储的大数据集成化处理监管系统及方法。
技术介绍
1、随着计算机网络的不断发展，数据文件的集成化处理逐渐起到不可忽视的作用，在现有的计算机网络系统中，往往一个业务文件可能不只适应一个存储系统，比如邮箱中的附件会随着时间的推移逐渐变冷，通过对各个业务的深入理解，以及大量的数据分析，现有的工业物联网平台往往会采用不同的存储调度策略，对于一些访问频率较低的业务文件通常采用近线存储，而对于一些访问频率较高的业务文件会采用低频存储或者高频存储，并且三种存储方式间可以基于实时文件访问情况实现智能调度，大大节省了存储成本；但同时，这种智能调度的分析方式需要对每类业务文件进行实时分析，对于一些物联网大数据平台存储庞大的数据时带来的调度分析算力压力较大，产生分析误差的可能性也较大。
技术实现思路
1、本专利技术的目的在于提供一种基于高频存储的大数据集成化处理监管系统及方法，以解决上述
技术介绍
中提出的问题。
2、为了解决上述技术问题，本专利技术提供如下技术方案：一种基于高频存储的大数据集成化处理监管方法，其特征在于，包括以下分析步骤：
3、步骤s100：基于工业物联网平台提取所存储的业务文件作为目标对象，并获取目标对象在监测时段内的文件访问次数，利用工业物联网平台设置于不同存储系统的存储阈值，进行智能调度；
4、步骤s200：在工业物联网平台运行周期内，将同一业务文件在不同存储系统间进行智能调度的行为标记为调度事件，运行
5、步骤s300：提取关联集合中记录的业务文件为对应主体业务文件的关联文件，获取主体业务文件与关联文件在调度事件中记录的调度内容，基于调度内容响应满足主体业务文件实施目标调度的集成调度文件；
6、步骤s400：获取实时存在目标调度的实时业务文件，分析实时业务文件与历史记录主体业务文件的关联关系，基于关联关系进行相应存储系统的集成化调度预警。
7、进一步的，进行智能调度包括以下具体过程：
8、存储系统包括高频存储系统、低频存储系统和近线存储系统，高频存储系统、低频存储系统和近线存储系统间可以进行基于业务文件存储的位置调度；
9、获取历史记录的若干个监测时段长度t以及各目标对象在每个监测时段内的文件访问次数c，以每个监测时段的结束时刻为响应节点，在历史记录的响应节点计算已经记录的目标对象的访问存储频率p，p＝∑c/∑t；
10、设置高频存储系统的存储阈值为p1，低频存储系统的存储阈值为p2，近线存储系统的存储阈值为p3，且p1>p2>p3；
11、获取每一目标对象在工业物联网平台的初始存储系统，在每一响应节点获取对应目标对象的访问存储频率p，以及p所处的阈值区间，提取阈值区间对应的存储系统为目标存储系统，当目标对象的初始存储系统与目标存储系统不同时，将目标对象由初始存储系统调度至目标存储系统；反之保留目标对象于初始存储系统中。
12、对历史记录的业务文件进行以存储频率的智能调度可以有效合理的布局应用平台的存储空间，提高平台存储的智能化和高效化。
13、进一步的，步骤s200包括以下具体步骤：
14、步骤s210：标记主体业务文件实施调度事件所处的监测时段为第一目标时段，获取第一目标时段内除去主体业务文件且未实施调度事件下所访问的其他业务文件为主体业务文件在对应监测时段的考察业务文件；
15、步骤s220：当主体业务文件为考察业务文件的前置项时，标记对应考察业务文件为所属主体业务文件在对应监测时段的第一关联文件；前置项是指在工业物联网平台上存在业务文件访问前必须访问的其他业务文件；
16、当主体业务文件不为考察业务文件的前置项时，获取主体业务文件和考察业务文件对应的索引项，索引项是指在工业物联网平台上业务文件访问定位所需的索引内容，索引项记录索引元素内容和索引元素个数；
17、步骤s230：计算每一考察业务文件与主体业务文件的索引距离l，
18、l＝a1*[(1/n1)*∑s]+a2*(n1/nmax)；
19、其中n1表示考察业务文件与主体业务文件索引元素相同的个数，nmax表示考察业务文件与主体业务文件记录索引元素个数的最大值；s表示考察业务文件与主体业务文件在相同索引元素下索引元素内容的相似度；a1表示平均相似度对应的参考系数，a2表示相同索引元素比例对应的参考系数；
20、步骤s240：当考察业务文件与主体业务文件的索引元素内容相同且n1＝nmax时，标记对应考察业务文件为第一业务文件，获取主体业务文件记录与第一业务文件不同的索引项为第一索引项，获取第一索引项的类型数p，以及在第一索引项下第一业务文件的记录次数k，利用公式：r＝k/p，计算第一业务文件在主体业务文件更换索引项时的跟随指数r；
21、当考察业务文件与主体业务文件的索引元素内容不相同或n1≠nmax时，输出跟随指数为1；利用公式：q＝l*(1/r)，计算主体业务文件与监测时段内各考察业务文件的关联指数q，遍历历史记录的所有业务文件得到各监测时段内所有可构成主体业务文件与考察业务文件的访问事件，获取访问事件对应的平均关联指数q0，
22、步骤s250：提取q≥q0对应的考察业务文件为主体业务文件的第二关联文件；将第一关联文件与第二关联文件构成所属主体业务文件在对应监测时段的关联集合g；遍历主体业务文件记录的所有第一目标时段并得到对应时段内的关联集合g，取并集构成主体业务文件对应的关联集合。
23、分析不同第一目标时段是因为主体业务文件可能会存在多种类型的调度事件且在不同调度事件记录的时段也可能存在差异，进行并集求和可以最大程度上概括主体业务文件在平台上所关联的其他业务文件，使得数据的分析更加精确。
24、进一步的，步骤s300包括以下具体过程：
25、目标调度是指在调度事件记录的调度类型中由低频存储系统调度至高频存储系统或由近线存储系统调度至高频存储系统的事件；调度内容包括调度时间和调度方式；
26、当主体业务文件实施目标调度为由低频存储系统调度至高频存储系统时，以主体业务文件响应调度时刻为起始时刻、主体业务文件调离高频存储系统为结束时刻构建第一高频区间；提取历史记录第i个第一高频区间内调度时间满足且实施与目标调度相同调度方式的关联文件为考察低频调度文件zi；并构建满足主体业务文件实施目标调度的集成调度文件为低频集成调度文件z0，z0＝{z1∩z2∩......∩zm}，i≤m；m表示历史记录主体业务文件实施目标调度为由低频存储系统调度至高频存储系统的总次数；
27、当主体业务文件实施目标调度为由近线存储系统调度至高频存储系统时，以主体业务文件响应调度时刻为起始时刻、主体业务文件调离高频存储系统为结束时刻构建本文档来自技高网...
【技术保护点】
1.一种基于高频存储的大数据集成化处理监管方法，其特征在于，包括以下分析步骤：
2.根据权利要求1所述的一种基于高频存储的大数据集成化处理监管方法，其特征在于：所述进行智能调度包括以下具体过程：
3.根据权利要求2所述的一种基于高频存储的大数据集成化处理监管方法，其特征在于：所述步骤S200包括以下具体步骤：
4.根据权利要求3所述的一种基于高频存储的大数据集成化处理监管方法，其特征在于：所述步骤S300包括以下具体过程：
5.根据权利要求4所述的一种基于高频存储的大数据集成化处理监管方法，其特征在于：所述步骤S400包括以下具体过程：
6.一种基于高频存储的大数据集成化处理监管系统，如使用权利要求1-5中任一项所述的一种基于高频存储的大数据集成化处理监管方法，其特征在于，包括智能调度运行模块、调度事件标记模块、关联集合分析模块、集成调度文件生成模块和集成化调度预警模块；
7.根据权利要求6所述的一种基于高频存储的大数据集成化处理监管系统，其特征在于：所述关联集合分析模块包括主体业务文件选定单元、考察业务文件
8.根据权利要求7所述的一种基于高频存储的大数据集成化处理监管系统，其特征在于：所述第二关联文件分析单元包括索引项获取单元、索引距离计算单元、跟随指数计算单元、关联指数计算单元和第二关联文件输出单元；
9.根据权利要求8所述的一种基于高频存储的大数据集成化处理监管系统，其特征在于：所述集成调度文件生成模块包括调度内容获取单元、高频区间标记单元和集成调度文件构建单元；
...【技术特征摘要】
1.一种基于高频存储的大数据集成化处理监管方法，其特征在于，包括以下分析步骤：
2.根据权利要求1所述的一种基于高频存储的大数据集成化处理监管方法，其特征在于：所述进行智能调度包括以下具体过程：
3.根据权利要求2所述的一种基于高频存储的大数据集成化处理监管方法，其特征在于：所述步骤s200包括以下具体步骤：
4.根据权利要求3所述的一种基于高频存储的大数据集成化处理监管方法，其特征在于：所述步骤s300包括以下具体过程：
5.根据权利要求4所述的一种基于高频存储的大数据集成化处理监管方法，其特征在于：所述步骤s400包括以下具体过程：
6.一种基于高频存储的大数据集成化处理监管系统，如使用权利要求1-5中任一项所述的一种基于高频存储的大数据集成化处理监管方法，...
【专利技术属性】
技术研发人员：韩吉双，曹锋，连智杰，葛友铖，施凯健，刘韬，曾广勇，周宇鹏，钟建栩，余少锋，朱俊威，严鑫，曹正鑫，刘立昂，周赞，
申请(专利权)人：南方电网调峰调频发电有限公司工程建设管理分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。