基于数据规模和流行程度的虚拟资产数据副本处理方法技术

本发明专利技术公开一种基于数据规模和流行程度的虚拟资产副本处理方法，包括以下步骤：首先根据数据规模大小决定数据副本数量，然后根据加权一致性hash算法映射到对应的机器节点上。按照加权改进一致性hash算法对副本进行分配，数据先被分配到hash之后的虚拟节点，再被物理的存储到虚拟节点对应的物理节点。之后随流行程度的变化以及数据块的大小对数据副本进行相应调整，并根据机器节点的变化，进行进一步调整；本发明专利技术将基于数据规模和流行程度的虚拟资产数据副本模型应用到海量虚拟资产信息存储当中，提高了查询效率，同时在一定程度上节省了存储资源。

【技术实现步骤摘要】

本技术属于网络与信息安全领域，涉及一种基于数据规模和流行程度的数据副本动态处理方法。
技术介绍
由于信息技术的飞速发展，数据爆炸已成为当前的一个突出问题，因此，海量数据管理技术也已成为人们的研究热点。近年来，人们尝试提出了多种方法用于海量数据管理。如，Zaman S等[1]提出了一种副本放置节点选择的分布式算法，并将该问题转化为背包问题，在考虑对副本访问频率的基础上，提出了一种近似算法。该方法以优化用户访问时间为目标，但其有效使用范围却会受到限制。Kumar N等[2]提出了一种基于概率的信任感知型数据副本放置策略，定义了副本代价函数和信任计算指标，据此确定数据副本的放置位置。该方法面向特定网络的特殊情境，不能直接应用于云存储系统。Han Guodong等[3]提出了一种认知型副本放置方法，根据用户需求信息，启发式地完成数据副本的分发和放置，通信时延低，运行开销小。该方法是针对内容分发网络数据传输开销大的问题开展的，却同样难以直接应用于云存储。Sun Dawei等[4]面向提高云系统可用性的需要，通过建立数学模型，描述了系统有效性和副本数量的关系，给出了副本数量计算方法和副本复制算法。然而，该方法主要是从理论角度研究如何实现数据副本在云环境下的均衡布局，却没有给出具体的数据副本放置机制。[1]Zaman S,Grosu D.A distributed algorithm for the replica placement problem[J].IEEE Transactions on,2011,22(9):1455-1468.[2]Kumar N,Kim J.Probabilistic trust aware data replica place-ment strategy for online video streaming applications delay tolerant networks[J].Mathematical and Computer Modelling,2013,58(1):3-14.[3]Han Guodong,Zhu Yige,Zhang Fan.A dynamic replica place-ment approach based on cognition[J].Jisuanji Yingyong yu Ruanjian,2013,30(1):83-87.[4]Sun Dawei,Chang Guiran,Gao Shang.Modeling a dynamic data replication strategy to increase system avail-ability in cloud computing[J].Journal of computer science and technology,2012,27(2):256-272.
技术实现思路
针对已有技术缺陷，本专利技术提出了一种基于数据规模和流行程度的虚拟资产副本处理方法，该方法将数据副本模型应用到虚拟资产海量信息的存储当中，不仅能提高查询效率，同时也能在一定程度上节省存储资源。本专利技术的技术方案包括：初始副本的处理和动态副本的处理。1)、初始副本的处理初始副本的处理主要针对一个新数据块的副本数量及位置进行初始化，首先根据数据规模的大小决定数据副本数量，然后再根据加权一致性hash算法映射到对应的机器节点上。初始化系统时，机器节点的数目是固定的，所以只考虑数据规模，即与数据规模的方根成正比。初始化之时，本模型中数据最少的副本数量为1，系统中最大副本不超过4。之后按照不同数据规模而进行合理分配。 Q i = 1 M 1 < M i < = M 1 + ( M n - M 1 ) / 4 2 M 1 + ( M n - M 1 ) / 4 < M i < = M 1 + ( M n本文档来自技高网...

【技术保护点】
一种考虑数据规模和流行程度的数据副本动态处理方法，其特征在于，包括以下步骤：初始副本的处理：初始化系统时，机器节点的数目是固定的，即副本数量与数据规模的方根成正比；Qi=1M1<Mi<=M1+Mn-M142M1+Mn-M14<Mi<=M1+Mn-M123M1+Mn-M12<Mi<=M1+(Mn-M1)*344M1+(Mn-M1)*34<Mi<=Mn]]>其中Qi表示数据块i的副本数量；n表示数据块的数量；M1表示第一个数据块的规模，它是所有数据块中规模最小的数据块；Mn表示第n个数据块的规模，它是所有数据块中规模最大的数据块；动态副本的处理：根据数据块的流行程度，这里指的是查询频率，随着对数据块关注程度的提升或下降来动态增加或减少副本的数量；其中Qi表示数据块i的副本数量；n表示数据块的数量；M1表示第一个数据块的规模，它是所有数据块中规模最小的数据块；Mn表示第n个数据块的规模，它是所有数据块中规模最大的数据块；Vi表示在给定时间段内的访问概率；根据机器节点数量的变化，动态地增加或减少数据块副本的数量：如果机器节点数量增加，就将不超过存储要求的流行数据块的副本存到增加的机器中；如果机器节点数量减少，就增加流行程度大于要求的数据块的副本数量。...

【技术特征摘要】
1.一种考虑数据规模和流行程度的数据副本动态处理方法，其特征在于，包括以下步骤：初始副本的处理：初始化系统时，机器节点的数目是固定的，即副本数量与数据规模的方根成正比； Qi = 1 M 1 < M i < = M 1 + M n - M 1 4 2 M 1 + M n - M 1 4 < M i < = M 1 + M n - M 1 2 3 M 1 + M n ...

【专利技术属性】
技术研发人员：邓璐，贾焰，韩伟红，李树栋，李虎，全拥，傅翔，朱伟辉，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43