System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及缓存数据安全管理,具体是一种分布式缓存数据调控安全保障管理系统及方法。
技术介绍
1、常规的数据访问请求都是直接查询后端数据库,不仅仅会导致响应时间显著增加,而且频繁对后端数据库进行访问很容易造成后端数据库负载过重,进而引发数据库的崩溃,因此,分布式缓存技术被广泛使用,使用分布式存储技术包括但限于以下几点好处:1、性能提高,分布式缓存技术可以通过将数据存储在内存中,大大降低数据访问的延迟;2、提高系统扩展能力,可以通过增加缓存节点来分散负载,从而提高系统的处理能力;3、更加灵活,分布式缓存技术的应用可以使系统得以支持不同的数据类型,也可以根据实际情况对配置相应的缓存策略,从而更好适应不同的业务场景。
2、在常规数据存储中,通常将数据存储在固定的节点,但是实际上不同的数据被访问、使用程度各不相同,这种方式很容易造成负载不均衡,并且也有可能导致经常被访问的数据集中在单个缓存节点中,影响系统性能,另外,目前的现有技术也无法对数据之间访问关联进行分析,同时也无法根据历史数据,来对数据的访问情况进行预测,无法提前做好相应的调控策略,将热点数据提前从后端数据源加载热点数据至分布式的缓存节点,很有可能导致未在缓存服务器内的数据被频繁访问,从而导致系统出现崩溃,进一步引发一系列的安全事故的发生。
技术实现思路
1、本专利技术的目的在于提供一种分布式缓存数据调控安全保障管理系统及方法,以解决现有技术中提出的问题。
2、为实现上述目的,本专利技术提供如下技术方案:
3、步骤s100:获取网络平台中的缓存节点的历史节点运行记录,评估缓存节点在不同运行指标下的节点运行状态,得到目标节点运行数据;
4、步骤s200:获取网络平台中的历史数据访问记录,从历史数据访问记录中提取出特征数据项,分析网络平台中的不同特征数据项之间的访问关联程度,得到特征关联数据;
5、步骤s300:对网络平台中的历史数据访问记录进行获取,构建数据访问预测模型,使用构建后的数据访问预测模型,并结合特征关联数据,对网络平台内的数据访问状况进行预测,得到预测热点访问数据;
6、步骤s400:基于预测热点访问数据,将网络平台内的数据加载至缓存节点中,并根据目标节点运行数据,分析缓存节点的节点运行状态,对缓存节点中的数据进行调控。
7、进一步的,步骤s100包括:
8、步骤s101:对网络平台中的缓存节点的历史节点运行记录进行获取,从历史节点运行记录中,获取缓存节点的各项运行指标对应的数据;
9、步骤s102:获取缓存节点中的各项性能指标的阈值,设置单位时长,每隔单位时长,对历史节点运行记录中的缓存节点的性能指标进行汇集,得到历史节点运行记录中的性能指标的数据集a={a1、a2、...、an},其中,a1、a2、...、an分别表示为历史节点运行记录中,第1、2、...、n个单位时长内的性能指标的平均值,n为历史节点运行记录内包含的单位时长的总个数;
10、步骤s103:计算性能指标在历史节点运行记录中的各个单位时长内的数据突变值,其中,性能指标在历史节点运行记录中的第h个单位时长内的数据突变值bh=ah-ah-1/ah-1,ah为历史节点运行记录中的第h个单位时长内的性能指标的平均值,ah-1为历史节点运行记录中的第h-1个单位时长内的性能指标的平均值;
11、步骤s104:当ah≥a´∧ah<a´∧bh<b´,其中,a´为缓存节点中的性能指标的阈值,b´为预设的数据突变阈值,将第h-1个单位时长,记为历史节点运行记录的突变单位时长,获取缓存节点的各个历史节点运行记录,获取缓存节点的运行指标,在各个历史节点运行记录中的突变单位时长内的平均值的最大值,并记为运行指标的目标阈值,判定运行指标大于目标阈值时,缓存节点的运行具有异常风险;
12、步骤s105:对缓存节点的各项运行指标的目标阈值进行获取并汇集,得到缓存节点的目标节点运行数据;
13、上述步骤中对缓存节点中的性能指标的数据突变值进行计算,是因为来分析性能指标在这个单位时长内是否突然超过的阈值,如果数据突变值小于预设的数据突变阈值,判定性能指标在单位时长内没有发生突变,例如,在第h-1个单位时长内不异常,第h个单位时长内异常说明,说明很运行指标很有可能在第c-1个单位时长内的值导致缓存节点性能下降,通过对第c-1个单位时长内的运行指标的获取,从而找到缓存节点中的运行指标的目标阈值,为下文保障缓存节点正常运行和数据安全提供有力支持。
14、进一步的,步骤s200包括:
15、步骤s201:在历史周期内对网络平台中的后端服务器的访问行为进行记录,得到历史数据访问记录,从历史数据访问记录中,获取存储在网络平台的后端服务器内被用户访问的数据项,并记为特征数据项;
16、步骤s202:从历史数据访问记录中获取特征数据项被访问的总次数,获取网络平台的各个历史数据访问记录,获取网络平台的各个特征数据项,分析网络平台中的各个特征数据项之间的访问关联程度,其中,分析网络平台中的第d个特征数据项,与第e个特征数据项之间的访问关联程度,具体过程为:
17、计算第d个特征数据项与第e个特征数据项之间的访问关联值fd,e:
18、,
19、其中,j为各个历史数据访问记录的总个数;gd,i为网络平台的第i个历史服务记录中,第d个特征数据项被访问的总次数;ge,i为第i个历史服务记录中,第e个特征数据项被访问的总次数;
20、步骤s203:当访问关联值fd,e大于预设的访问关联阈值,判定第d个特征数据项,与第e个特征数据项之间的访问具有关联性;
21、步骤s204:获取网络平台中的具有访问关联性的若干个特征数据项,并进行汇集,得到特征关联数据。
22、进一步的,步骤s300包括:
23、步骤s301:对网络平台中的各个历史周期内的历史数据访问记录进行获取,对网络平台中的数据访问预测模型进行构建,其中,针对网络平台中的特征数据项的模型构建过程为:
24、将历史周期内的历史数据访问记录中的特征数据项的被访问的总次数,作为历史周期在数据访问预测模型中的输出数据,将历史周期前的若干个历史周期的历史数据访问记录中,特征数据项的被访问的总次数进行汇集,得到输入数据向量,将输入数据向量,作为历史周期在数据访问预测模型中的输入数据;
25、步骤s302:基于预设的比例,将各个历史周期内的历史数据访问记录划分为训练集和测试集;
26、获取数据访问模型中的最优的超平面,获取预设的超平面的法向量w和偏置b,其中,超平面的具体公式为f(z)=wt·z+b,z为训练集中的样本内的特征数据项的输入数据向量;
27、使用训练集对数据访问预测模型进行训练,获取预设的访问阈值,当训练集中的样本的特本文档来自技高网...
【技术保护点】
1.一种分布式缓存数据调控安全保障管理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种分布式缓存数据调控安全保障管理方法,其特征在于,所述步骤S100包括:
3.根据权利要求2所述的一种分布式缓存数据调控安全保障管理方法,其特征在于,所述步骤S200包括:
4.根据权利要求3所述的一种分布式缓存数据调控安全保障管理方法,其特征在于,所述步骤S300包括:
5.根据权利要求4所述的一种分布式缓存数据调控安全保障管理方法,其特征在于,所述步骤S400包括:
6.一种分布式缓存数据调控安全保障管理系统,用于执行权利要求1-5中任意一项所述的一种分布式缓存数据调控安全保障管理方法,其特征在于,所述系统包括运行状态评估模块、特征关联数据模块、预测数据模块、智能调控模块;
7.根据权利要求6所述的一种分布式缓存数据调控安全保障管理系统,其特征在于,所述运行状态评估模块包括目标阈值单元、目标节点运行数据单元;
8.根据权利要求6所述的一种分布式缓存数据调控安全保障管理系统,其特征在于,所述特征关联
9.根据权利要求6所述的一种分布式缓存数据调控安全保障管理系统,其特征在于,所述预测数据模块包括模型构建单元、预测数据单元;
10.根据权利要求6所述的一种分布式缓存数据调控安全保障管理系统,其特征在于,所述智能调控模块包括智能调控单元;
...【技术特征摘要】
1.一种分布式缓存数据调控安全保障管理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种分布式缓存数据调控安全保障管理方法,其特征在于,所述步骤s100包括:
3.根据权利要求2所述的一种分布式缓存数据调控安全保障管理方法,其特征在于,所述步骤s200包括:
4.根据权利要求3所述的一种分布式缓存数据调控安全保障管理方法,其特征在于,所述步骤s300包括:
5.根据权利要求4所述的一种分布式缓存数据调控安全保障管理方法,其特征在于,所述步骤s400包括:
6.一种分布式缓存数据调控安全保障管理系统,用于执行权利要求1-5中任意一项所述的一种分布式缓存数据调控安全保障管理方法...
【专利技术属性】
技术研发人员:温砚,王陶,
申请(专利权)人:江苏智檬智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。