一种工业实时数据分级存储及迁移方法技术

本发明专利技术提供了一种工业实时数据分级存储及迁移方法及其系统，该方法包括：定期监控分级存储系统，当高级存储设备的存储容量使用率达到预设的第一阈值后，触发数据迁移计算；迁移时，首先对存储设备中的每个数据对象进行价值评定，得到每个数据对象的价值并根据价值大小对数据对象进行排序；根据排序设置迁移策略并将待迁移的数据对象选出，组成迁移队列并进行迁移。该方法及系统按存储设备优先级的不同及当前数据对象的价值排序设置迁移策略，其中，价值计算考虑了影响数据对象迁移效率的时间因素、访问用户数量、与其关联的其他数据对象情况、不同存储设备的访问对比度及数据对象本身大小，使得该方法提高了数据价值判定的准确性。

【技术实现步骤摘要】

本专利技术涉及数据访问与存储处理
，特别涉及一种工业实时数据分级存储及迁移方法。
技术介绍
随着工业系统规模的扩大与自动化信息技术的不断发展，工业自动化系统海量数据的应用导致分布式文件系统并发访问量的猛增，而文件读写压力变大必然需要考虑文件I/O带来的系统瓶颈。同时，过程控制中很多应用对数据的实时性要求较高。考虑到不同存储设备性能和成本不同，而数据访问具有时间和空间局部性，因此需要进行分级存储，使经常被访问到的数据倾向于存放到高性能设备，最近访问时间内不经常被读写的数据放置到低性能设备。此外，考虑到数据存在着周期性的变化规律，数据访问的热度是变化的，海量存储系统中相当大比例的数据静止不动，而且高性能存储设备有限，因此基于分级存储技术进行数据迁移。伴随着SSD等固态硬盘的快速发展和在各个领域内的推广应用，结合固态硬盘进行多级存储已成为当前和未来存储方面研究的重点。固态硬盘与传统硬盘相比有着更加明显的优缺点，可更好的优化系统的性能和能耗，可以作为多级存储介质的快盘介质。但由于价格昂贵，因此需要综合考虑多种因素在性能、成本和能耗方面取得折衷。最早的传统的分级存储主要应用在访问不是特别频繁的归档备份环境中。但考虑到设备的性能差异不同，性能差异大和性能差异小的设备如果采用相同的触发条件不利于系统的可扩展性。实现多级存储设备中文件的统一管理，分别设置元数据模块、元数据服务器模块、目标数据服务器模块，在元数据服务器模块中设有系统管理和文件迁移决策模块，人为获取迁移候选文件，将文件分为升级队列和降级队列，由迁移调度控制器发出迁移指令进行迁移。对于源数据服务器和目标数据服务器来说，分别设置数据服务模块和迁移执行模块。此技术的主要缺陷在于，没有一个系统而具体的判断文件迁移触发点的方法，人为提出文件迁移比例进行文件迁移，无法全面详实的评价影响数据价值判定的所有因素。上述的海量数据分级存储技术主要是根据存储设备的性能价值不同将数据放置在不同设备上，并在合适的时间进行数据迁移。但这些分级存储方法对分级和迁移策略(数据价值判定方法)没有充分挖掘各种衡量指标，由于数据放置以及数据迁移策略直接决定了整个分级存储系统的整体性能，更完善的迁移策略以及数据分级存储放置方法亟待被提出。
技术实现思路
本专利技术的目的在于提供一种工业实时数据分级存储及迁移方法，以解决现有的海量数据分级存储及迁移技术没有充分进行数据价值判定而影响数据存储及迁移性能的问题。为实现上述目的，本专利技术提供了一种工业实时数据分级存储及迁移方法，包括数据分级存储及数据分级迁移两个部分，其中，数据分级存储包括以下步骤：Ⅰ：对数据进行价值评定；Ⅱ：依据数据价值将其放置或迁移至合适的层级中；数据分级迁移包括以下步骤：S1：定期监控分级存储系统，当高优先级存储设备的存储容量使用率达到预设的第一阈值后，触发数据迁移计算，进入步骤S2；S2：对存储设备中的每个数据对象进行价值评定，得到每个数据对象的价值，根据所述价值的大小对所对应的各个数据对象进行排序；S3：按照占比为预设的第二阈值，将高优先级存储设备内所存储的价值排序较低的数据对象选出，组成迁移队列，并将所述迁移队列中的数据对象迁移至低优先级存储设备；S4：按照占比为预设的第三阈值，将步骤S3执行后高优先级存储设备内所存储的剩余的价值排序较低的数据对象地址与缓存中当前保持的数据对象地址进行比较，如其中的任意一个数据对象的地址已保存在所述缓存中，则将该数据对象迁移至低优先级存储设备，否则将该数据对象的内存地址保存在缓存中，依此类推，设完成所有比较后缓存中数据对象地址数为Nb，如果Nb≤Nh，则本次迁移工作停止，如果Nb>Nh，则根据缓存中保存的数据对象地址所对应的价值由大到小依次排序，从价值最大的数据对象地址开始进行依次剔除，直到剩余数据对象地址数为Nh，本次迁移工作停止，其中，Nh为缓存中数据对象地址数的预设上限；S5：找到目前缓存中所述价值为最大价值的数据对象，并将低优先级存储设备中所有价值大于所述最大价值的数据对象按照价值由高到低的顺序组成迁移队列并移至高优先级存储设备。较佳地，所述S2中，采用滑动窗口的方法，对该滑动窗口内的各时刻计算得到的价值求加权平均值，具体为：设给定窗口的宽度为N，当该窗口内为当前最近N次计算的数据对象价值分别为V1、V2、…VN时，则当前的数据对象的价值计算公式如下：Vc=Σi=1NλiVi.]]>较佳地，所述S2中，对数据对象进行价值评定时，依据下式对价值进行计算：V＝w1T+w2C+w3N+w4CT+w5/S其中，T为时间因素，C为访问用户数量因素，N为与本数据对象的相关数据对象的价值因素，CT为不同存储设备的对比度因素，S为数据对象自身的大小因素，w1、w2、w3、w4和w5分别为各对应因素的权重。较佳地，所述时间因素T的获取方法为：获取数据对象创建开始后所有的接受访问的时刻：t1、t2…tn，n为正整数；计算各次访问之间间隔的时间长度T1、T2…Tn-1，则：Ti＝ti+1-tii＝1,2,...,n-1计算T：T=Σi=1n-1αiTi,]]>其中，αi,i＝1,2,...,n-1为一组预先给定的权重值，且满足且α1≤α2≤...≤αn-1。较佳地，对任意一个数据对象，其相关数据对象定义如下：设定时间长度阈值为Tth，任意t0时刻数据对象obj1被访问，则在t0+Tth时间区间内，数据对象obj2也被访问，则认为数据对象obj1和obj2是相关联的。较佳地，数据对象obj1的相关数据对象的价值因素N的获取方法如下：找到与数据对象obj1相关联的数据对象集合Φ(obj1)；找到Φ(obj1)中所有数据对象的价值；对与数据对象obj1相关联的所有数据对象的价值进行求和如下：N=Σobj∈Φ(obj1)Vobj]]>Vobj为数据对象obj的价值记录。较佳地，将数据对象从建立到当前的时间区间分为m段，则不同存储设备的对比度因素CT根据下式进行计算：CT=Σi=1mβi(δw×FWi+δr×FRi)]]>其中，FWi和FRi表示在第i段时间内数据对象的读写频率，βi表示第i段时间的加权权重，且β1<本文档来自技高网...

【技术保护点】
一种工业实时数据分级存储及迁移方法，其特征在于，保护数据分级存储及数据分级迁移两个部分，其中，数据分级存储包括以下步骤：Ⅰ：对数据进行价值评定；Ⅱ：依据数据价值将其放置或迁移至合适的层级中；数据分级迁移包括以下步骤：S1：定期监控分级存储系统，当高优先级存储设备的存储容量使用率达到预设的第一阈值后，触发数据迁移计算，进入步骤S2；S2：对存储设备中的每个数据对象进行价值评定，得到每个数据对象的价值，根据所述价值的大小对所对应的各个数据对象进行排序；S3：按照占比为预设的第二阈值，将高优先级存储设备内所存储的价值排序较低的数据对象选出，组成迁移队列，并将所述迁移队列中的数据对象迁移至低优先级存储设备；S4：按照占比为预设的第三阈值，将步骤S3执行后高优先级存储设备内所存储的剩余的价值排序较低的数据对象地址与缓存中当前保持的数据对象地址进行比较，如其中的任意一个数据对象的地址已保存在所述缓存中，则将该数据对象迁移至低优先级存储设备，否则将该数据对象的内存地址保存在缓存中，依此类推，设完成所有比较后缓存中数据对象地址数为Nb，如果Nb≤Nh，则本次迁移工作停止，如果Nb>Nh，则根据缓存中保存的数据对象地址所对应的价值由大到小依次排序，从价值最大的数据对象地址开始进行依次剔除，直到剩余数据对象地址数为Nh，本次迁移工作停止，其中，Nh为缓存中数据对象地址数的预设上限；S5：找到目前缓存中所述价值为最大价值的数据对象，并将低优先级存储设备中所有价值大于所述最大价值的数据对象按照价值由高到低的顺序组成迁移队列并移至高优先级存储设备。...

【技术特征摘要】
1.一种工业实时数据分级存储及迁移方法，其特征在于，保护数据分级存储
及数据分级迁移两个部分，其中，数据分级存储包括以下步骤：
Ⅰ：对数据进行价值评定；
Ⅱ：依据数据价值将其放置或迁移至合适的层级中；
数据分级迁移包括以下步骤：
S1：定期监控分级存储系统，当高优先级存储设备的存储容量使用率达到预
设的第一阈值后，触发数据迁移计算，进入步骤S2；
S2：对存储设备中的每个数据对象进行价值评定，得到每个数据对象的价值，
根据所述价值的大小对所对应的各个数据对象进行排序；
S3：按照占比为预设的第二阈值，将高优先级存储设备内所存储的价值排序
较低的数据对象选出，组成迁移队列，并将所述迁移队列中的数据对象迁移
至低优先级存储设备；
S4：按照占比为预设的第三阈值，将步骤S3执行后高优先级存储设备内所存
储的剩余的价值排序较低的数据对象地址与缓存中当前保持的数据对象地址
进行比较，如其中的任意一个数据对象的地址已保存在所述缓存中，则将该
数据对象迁移至低优先级存储设备，否则将该数据对象的内存地址保存在缓
存中，依此类推，设完成所有比较后缓存中数据对象地址数为Nb，如果Nb≤
Nh，则本次迁移工作停止，如果Nb>Nh，则根据缓存中保存的数据对象地址所
对应的价值由大到小依次排序，从价值最大的数据对象地址开始进行依次剔
除，直到剩余数据对象地址数为Nh，本次迁移工作停止，其中，Nh为缓存中
数据对象地址数的预设上限；
S5：找到目前缓存中所述价值为最大价值的数据对象，并将低优先级存储设
备中所有价值大于所述最大价值的数据对象按照价值由高到低的顺序组成迁
移队列并移至高优先级存储设备。
2.根据权利要求1所述的工业实时数据分级存储及迁移方法，其特征在于，

\t所述S2中，采用滑动窗口的方法，对该滑动窗口内的各时刻计算得到的价值
求加权平均值，具体为：
设给定窗口的宽度为N，当该窗口内为当前最近N次计算的数据对象价
值分别为V1、V2、…VN时，则当前的数据对象的价值计算公式如下：
Vc=Σi=1NλiVi.]]>3.根据权利要求1所述的工业实时数据分级存储及迁移方法，其特征在于，
所述S2中，对数据对象进行价值评定时，依据下式对价值进行计算：
V＝w1T+w2C+w3N+w4CT+w5/S
其中，T为时间因素，C为访问用户数量因素，N为与本数据对象的相关数据
对象的价值因素，CT为不同存储设备的对比度因素，S为数据对象自身的大
小因素，w1、w2、w3、w4和w5分别为各对应因素的权重。
4.根据权利要求3所述的工业实时数据分级存储及迁移方法，其特征在于，
所述时间因素T的获取方法为：
获取数据对象创建开始后所有的接受访问的时刻：t1、t2…tn，n为正整数；
计算各次访问之间间隔的时间长度T1、T2…Tn-1，则：
Ti＝ti+1-tii＝1,2,...,n-1
计算T：
T=Σi=1n-1αiTi,]]>其中，αi,i＝1,2,...,n-1为一组预先给定的权重值，且满足且
α1≤α2≤...≤αn-1。
5.根据权利要求3所述的工业实时数据分级存储及迁移方法，其特征在于，
对任意一个数据对象，其相关数据对象定义如下：
设定时间长度阈值为Tth，任意t0时刻数据对象obj1被访问，则在t0+Tth
\t...

【专利技术属性】
技术研发人员：徐星，陈鹏，叶莹，王天林，宋丽娜，庄严，周玄昊，俞翔，韩冰，王挺，
申请(专利权)人：浙江中控研究院有限公司，
类型：发明
国别省市：浙江;33