【技术实现步骤摘要】
本申请涉及数据处理，尤其是一种基于高并发下的多版本数据生效系统。
技术介绍
1、随着互联网的发展和规模的扩大，网络流量也随之增长，高并发和大数据局已经是常态。在这种情况下，数据加工难度和压力就会成指数增长，高并发下，可能出现数据重复加工或低版本覆盖高版本的情况，导致资源浪费和数据错误。
2、目前，业界大都是将这种数据加工由并行改为串行，以降低服务压力，防止低版本数据生效。
3、这种串行数据加工方法有以下缺点:时效长，多版本数据需要排队等待，大大拉长了数据加工的时间，资源利用率低，现在服务器都是支持多线程，串行则有回到单线程的时代，服务器资源没有被充分利用起来，资源浪费，多版本请求同时到达时，串行会将每个版本的数据都生成，造成时间和资源的浪费，针对上述问题提出一种基于高并发下的多版本数据生效系统。
技术实现思路
1、在本实施例中提供了一种基于高并发下的多版本数据生效系统用于解决现有的串行数据处理时效长，多版本数据需要排队等待，大大拉长了数据加工的时间，资源利用率低，现在服务器都是支持多线程，串行则有回到单线程的时代，服务器资源没有被充分利用起来，资源浪费，多版本请求同时到达时，串行会将每个版本的数据都生成，造成时间和资源的浪费的问题。
2、根据本申请的一个方面，提供了一种基于高并发下的多版本数据生效系统，所述基于高并发下的多版本数据生效系统包括如下步骤；
3、(1)数据处理:对外暴露接口或接收消息通知，开启数据处理；
4、(
5、(3)验证版本号x，通过缓存key获取缓存，不存在则增加缓存；
6、(4)缓存key存在、x是否最新，通过缓存key获取缓存，比对当前版本号与缓存版本号；
7、(5)数据分批、在数据量过大时，采用分批进行数据处理；
8、(6)执行数据处理，运行每个批次的数据运算和加工；
9、(7)验证版本号x，在当前批次执行完毕后，再次进行当前版本号x验证，防止步骤(6)运行期间出现高版本；
10、(8)验证结束，验证分批是否完毕，未完毕则继续执行步骤(6)，否则结束循环；
11、(9)提交数据，将当前版本数据提交，当前版本数据生效。
12、进一步地，所述步骤(1)中，对外暴露接口或接收消息通知所得到的数据缓存至缓存服务器中。
13、进一步地，所述步骤(1)中，缓存服务器采用多线程运行。
14、进一步地，所述步骤(2)中，在进行数据处理时，根据业务生成专属递增版本号x和缓存key均在缓存服务器中运行。
15、进一步地，所述步骤(3)中，在验证版本号x之前对缓存key是否存在进行验证。
16、进一步地，所述步骤(4)中，当前版本号大继续执行，否则结束当前版本数据处理。
17、进一步地，所述步骤(5)中，采用分批进行数据处理时，依据数据请求时间为依据，对特定时间段的数据进行分批。
18、进一步地，所述步骤(7)中，若检测步骤(6)中出现高版本，则终止数据处理，进行数据回滚(删除当前版本数据)，否则继续执行。
19、进一步地，所述步骤(8)中，验证数据结束后将数据进行提交。
20、进一步地，所述步骤(8)中，验证版本号x是否最新，否则进行数据回滚，并结束当前版本数据处理。
21、通过本申请上述实施例，通过该种基于高并发下的多版本数据生效系统能够解决了现有的数据处理时效长，多版本数据需要排队等待，大大拉长了数据加工的时间；资源利用率低，现在服务器都是支持多线程，串行则有回到单线程的时代，服务器资源没有被充分利用起来；资源浪费，多版本请求同时到达时，串行会将每个版本的数据都生成，造成时间和资源的浪费的问题。
本文档来自技高网...【技术保护点】
1.一种基于高并发下的多版本数据生效系统，其特征在于：所述基于高并发下的多版本数据生效系统包括如下步骤：
2.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(1)中，对外暴露接口或接收消息通知所得到的数据缓存至缓存服务器中。
3.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(1)中，缓存服务器采用多线程运行。
4.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(2)中，在进行数据处理时，根据业务生成专属递增版本号X和缓存key均在缓存服务器中运行。
5.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，所述步骤(3)中，在验证版本号X之前对缓存Key是否存在进行验证。
6.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(4)中，当前版本号大继续执行，否则结束当前版本数据处理。
7.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(5)中，采用分
8.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(7)中，若检测步骤(6)中出现高版本，则终止数据处理，进行数据回滚(删除当前版本数据)，否则继续执行。
9.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(8)中，验证数据结束后将数据进行提交。
10.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(8)中，验证版本号X是否最新，否则进行数据回滚，并结束当前版本数据处理。
...【技术特征摘要】
1.一种基于高并发下的多版本数据生效系统，其特征在于：所述基于高并发下的多版本数据生效系统包括如下步骤：
2.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(1)中，对外暴露接口或接收消息通知所得到的数据缓存至缓存服务器中。
3.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(1)中，缓存服务器采用多线程运行。
4.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，其特征在于：所述步骤(2)中，在进行数据处理时，根据业务生成专属递增版本号x和缓存key均在缓存服务器中运行。
5.根据权利要求1所述的一种基于高并发下的多版本数据生效系统，所述步骤(3)中，在验证版本号x之前对缓存key是否存在进行验证。
6.根据权利要求1所述的一种基于高并发下的多...
【专利技术属性】
技术研发人员：石龙飞，
申请(专利权)人：北京比特易湃信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。