【技术实现步骤摘要】
本专利技术涉及数据缓存，具体而言，涉及基于机器学习的多级缓存自适应系统及策略。
技术介绍
1、随着云计算的快速发展，各大企业对于云的稳定性、安全性和敏捷性有了更高的标准，而混合云将私有云和公有云结合互通，提供了更加灵活的部署模式。用户可以将数据库等需要高可靠、低时延的业务搭建于私有云，而将常访问、快速迭代的业务，或是超出私有云服务能力的业务拓展搭建于公有云上，通过云间的连接互通，大大提高了业务的高可用性。
2、然而在混合云的广泛应用中，当公有云上的敏捷业务在处理多并发的请求时，会对私有云中的数据库发起密集型的读写任务，而受网络带宽影响，私有云中的处理速度跟不上，会造成一定的拥堵而影响整体业务效率。
3、现有的缓存策略主要有以下两方面的缺陷：不适于频繁执行新任务；缓存层级划分固定，适配性不高。
4、因此，如何通过调整缓存策略，进而节约缓存区空间资源同时提高任务执行效率成为技术发展的新趋势。
技术实现思路
1、鉴于此，本专利技术提出了基于机器学习的多级缓存自适应系统及策略，主要是为了解决如何通过调整缓存策略，进而节约缓存区空间资源同时提高任务执行效率的问题。
2、一个方面，本专利技术提出了基于机器学习的多级缓存自适应系统，该系统包括：
3、公有云、私有云、缓存区和决策器；
4、所述缓存区挂载于所述公有云上，所述缓存区存储有所述私有云中的部分或全部数据作为初始缓存数据,并定期根据缓存策略更新存储数据；
5
6、所述决策器内存储有3个预测模型并进行预先训练，在所述公有云根据所述待查询数据向所述缓存区发送查询请求获取目标数据以执行待执行任务时，所述决策器还用于实时监控所述公有云对所述缓存区的访问情况，当所述公有云对所述缓存区进行访问时，获取访问数据并将其输入所述预测模型，根据所述预测模型输出结果更新所述缓存区的优先级分层结构和更新策略；
7、其中，所述预测模型包括：缓存预测模型、任务预测模型和数据预测模型。
8、在本申请的一些实施例中，在所述公有云用于根据待执行任务确定待查询数据，并根据所述待查询数据向所述缓存区发送查询请求获取目标数据以执行待执行任务前，包括：
9、所述决策器获取所述初始缓存数据并将其输入所述缓存预测模型，所述缓存预测模型基于所述初始缓存数据输出初始缓存策略，所述初始缓存策略用于所述缓存区的初始化搭建；
10、所述初始缓存策略包括：初始缓存层数量、初始分层策略和初始更新策略。
11、在本申请的一些实施例中，当所述公有云对所述缓存区进行访问，所述决策器获取访问数据并将其输入所述预测模型，根据所述预测模型输出结果更新所述缓存区的层级缓存结构时，包括：
12、所述决策器获取访问数据并将其输入所述任务预测训练模型，所述任务预测训练模型基于所述访问数据输出相关任务列表和各相关任务对应出现次数；
13、所述访问数据包括：访问用户特征数据、访问服务器数据和访问执行任务。
14、在本申请的一些实施例中，在所述任务预测训练模型基于所述访问数据输出相关任务列表和各相关任务对应出现次数后，包括：
15、所述决策器将所述相关任务列表输入到所述数据预测训练模型中，所述数据预测训练模型基于所述相关任务列表输出各相关任务对应数据标识和各对应数据标识的出现次数，并根据所述各相关任务对应数据标识和各对应数据标识计算得到各对应数据标识出现概率，将各所述数据标识出现概率进行降序排序，并根据所述初始缓存策略将各所述相关任务对应数据标识与各所述初始缓存层进行匹配，将匹配结果记录在数据表中，所述决策器将所述数据表发送至所述缓存区进行数据缓存。
16、在本申请的一些实施例中，所述决策器将所述数据表发送至所述缓存区进行数据缓存时，包括：
17、根据数据标识从内存中读取数据，并按照数据表中的存放路径将数据存放在不同的缓存层中。
18、在本申请的一些实施例中，所述公有云用于根据待执行任务确定待查询数据，并根据所述待查询数据向所述缓存区发送查询请求获取目标数据以执行待执行任务时，包括：
19、所述决策器根据所述缓存区的更新策略更新数据表，所述缓存区根据最新数据表调整所述缓存区的数据，当存在所述数据表中的数据不存在于所述缓存区内，则向所述私有云进行访问获取，当存在所述缓存区中的数据不存在于所述数据表内，则在所述缓存区中删除该数据。
20、在本申请的一些实施例中，在所述决策器对3个预测模型进行预先训练时，包括：
21、所述缓存预测模型采用强化学习模型，将所述缓存区的初始缓存资源作为输入获取输入反馈，所述缓存模型基于所述输入反馈进行行动决策；
22、其中，所述输入反馈包括：惩罚反馈和奖励反馈，所述惩罚反馈为缓存命中节约的资源量和时间，所述奖励反馈为空间、资源占用和对内存访问量；
23、所述行动决策包括：分层策略和更新策略；
24、所述分层策略包括：缓存区内的缓存层数量和各缓存层对应数据占比；
25、所述更新策略包括：数据更新时间周期阈值ttask和数据更新比例阈值αnew。
26、在本申请的一些实施例中，所述分层策略具体包括：
27、预先设定缓存预测更新周期tcache，在缓存预测更新周期tcache内获取并根据因数据缓存命中而节约的时间和资源以及因数据概率更新而调整数据缓存区存储地址的资源消耗计算得到平均奖惩值feedback；
28、缓存预测更新周期tcache的计算公式如下：
29、tcache＝max(24h，10ttask)；
30、其中，t为距离上次分层策略预测的时间；
31、平均奖惩值feedback的计算公式如下：
32、
33、当t在缓存预测更新周期tcache内，则将推测出的所述分层策略和缓存策略保存在所述决策器内获取对应的平均奖惩值，而不对所述缓存区的结构进行调整，当t不在缓存预测更新周期tcache内，则获取上一轮执行的更新策略得到的奖赏时间均值feedback/t，其中t为距离上次分层策略预测的时间；
34、当平均奖惩值feedback小于上一轮分层监控阈值σcache时，在下一轮所述更新策略更新时更新所述分层策略；
35、
36、在本申请的一些实施例中，所述更新策略具体包括：
37、在时间阈值ttask后，将当前最新的执行任务作为最新输入，获取最新的数据标识和数据概率，将最新数据标识和数据概率与上一数据表中信息做对比，更新数据的概率值的计算公式如下：
38、pupdate＝αnew×pnew+(1-αnew)×pold；
39、其中，pnew和本文档来自技高网...
【技术保护点】
1.基于机器学习的多级缓存自适应系统，其特征在于，包括：
2.根据权利要求1所述的基于机器学习的多级缓存自适应系统，其特征在于，在所述公有云用于根据待执行任务确定待查询数据，并根据所述待查询数据向所述缓存区发送查询请求获取目标数据以执行待执行任务前，包括：
3.根据权利要求2所述的基于机器学习的多级缓存自适应系统，其特征在于，在所述任务预测训练模型基于所述访问数据输出相关任务列表和各相关任务对应出现次数后，包括：
4.根据权利要求3所述的基于机器学习的多级缓存自适应系统，其特征在于，所述公有云用于根据待执行任务确定待查询数据，并根据所述待查询数据向所述缓存区发送查询请求获取目标数据以执行待执行任务时，包括：
5.根据权利要求4所述的基于机器学习的多级缓存自适应系统，其特征在于，在所述决策器对3个预测模型进行预先训练时，包括：
6.根据权利要求5所述的基于机器学习的多级缓存自适应系统，其特征在于，所述分层策略具体包括：
7.根据权利要求6所述的基于机器学习的多级缓存自适应系统，其特征在于，所述更新策略具体包括：
8.根据权利要求7所述的基于机器学习的多级缓存自适应系统，其特征在于，在所述决策器对3个预测模型进行预先训练时，还包括：
9.一种基于机器学习的多级缓存自适应策略，其特征在于，应用于如权利要求1-8任一项所述的基于机器学习的多级缓存自适应系统中，包括：
...【技术特征摘要】
1.基于机器学习的多级缓存自适应系统，其特征在于，包括：
2.根据权利要求1所述的基于机器学习的多级缓存自适应系统，其特征在于，在所述公有云用于根据待执行任务确定待查询数据，并根据所述待查询数据向所述缓存区发送查询请求获取目标数据以执行待执行任务前，包括：
3.根据权利要求2所述的基于机器学习的多级缓存自适应系统，其特征在于，在所述任务预测训练模型基于所述访问数据输出相关任务列表和各相关任务对应出现次数后，包括：
4.根据权利要求3所述的基于机器学习的多级缓存自适应系统，其特征在于，所述公有云用于根据待执行任务确定待查询数据，并根据所述待查询数据向所述缓存区发送查询请求获取目标数据以执行待执行...
【专利技术属性】
技术研发人员：王一帆，潘晓东，王淑鹏，李伟泽，陈丽娜，张帅，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。