System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,特别是涉及一种应用于高并发场景的数据处理方法、装置及电子设备。
技术介绍
1、信息系统在进行交易处理时,会涉及到数据的读取操作,如果每次数据读写都是操作关系型数据库,随着交易量增大,数据库会面临越来越大的压力,当交易峰值出现时,关系型数据库也就成了信息系统的瓶颈,可能会导致交易缓慢、响应超时等问题。
2、以银行系统为例,第三方支付机构通过转接机构与银行系统对接,而对接的银行系统通常称为快捷支付系统(以下简称快捷系统)。由于与第三方支付机构对接,快捷系统需要7*24连续服务,且交易量极大。当遇到购物节等特殊时刻,交易量出现峰值,通常伴随着交易缓慢、响应延迟,因此快捷系统需要提高性能来应对这种高并发场景。通过全链路分析,快捷系统的主要压力出现在数据库,在高并发场景下达到了数据库的极限,因此需要减少数据库压力,提高系统性能,使系统在高并发场景下也能平稳运行。如何减少数据库压力已成为当前信息系统需要解决的主要问题。
技术实现思路
1、针对于上述问题,本申请提供了如下技术方案:
2、一种应用于高并发场景的数据处理方法,包括:
3、响应于接收到数据获取请求,对所述数据获取请求进行解析,得到解析结果;
4、若所述解析结果表征获取配置类数据,基于第一数据获取模式获取与所述数据获取请求对应的目标配置类数据,其中,所述第一数据获取模式表征按照本地缓存、内存数据库和关系型数据库的访问顺序获取配置类数据,所述本地缓存、内存数据库和关系型数
5、若所述解析结果表征获取业务类数据,基于第二数据获取模式获取与所述数据获取请求对应的目标业务类数据,其中,所述第二数据获取模式表征按照从数据库和主数据库的访问顺序获取业务类数据,所述从数据库用于同步所述主数据库中的数据。
6、可选地,所述基于第一数据获取模式获取与所述数据获取请求对应的目标配置类数据,包括:
7、在本地缓存中读取与所述数据获取请求对应的数据,若所述本地缓存中不存在与所述数据获取请求对应的数据,在所述内存数据库中读取与所述数据获取请求对应的数据;
8、若所述内存数据库中不存在与所述数据获取请求对应的数据,在所述关系型数据库中读取与所述数据获取请求对应的数据,得到目标配置类数据;
9、将所述目标配置类数据同步至所述内存数据库,并将所述目标配置类数据更新到本地缓存中。
10、可选地,所述在本地缓存中读取与所述数据获取请求对应的数据,包括:
11、确定本地缓存的缓存数据有效期;
12、若所述本地缓存中的数据超过所述缓存数据有效期,在所述内存数据库中读取与所述数据获取请求对应的数据。
13、可选地,还包括:
14、基于预设数据同步周期,将所述关系型数据库中存储的配置类数据同步至所述内存数据库。
15、可选地,所述方法还包括:
16、在业务类数据写入的情况下,将业务类数据写入至主数据库,并将写入的业务类数据对应的键值写入至内存数据库,其中,写入至所述内存数据库中的键值配置有过期时间;
17、将所述主数据库中的数据同步至从数据库;
18、其中,所述内存书库中的键值对应的过期时间的时长大于所述主数据库和所述从数据库的数据同步时延。
19、可选地,所述基于第二数据获取模式获取与所述数据获取请求对应的目标业务类数据,包括:
20、响应于所述数据获取请求,从所述内存数据库中获取与所述数据获取请求对应的业务类数据的键值;
21、若所述内存数据库中不包括所述键值,从所述从数据库中获取与所述数据获取请求对应的目标业务类数据;
22、若所述内存数据库中包括所述键值,从所述主数据库中获取与所述数据获取请求对应的目标业务类数据。
23、一种应用于高并发场景的数据处理装置,包括:
24、解析单元,用于响应于接收到数据获取请求,对所述数据获取请求进行解析,得到解析结果;
25、第一获取单元,用于若所述解析结果表征获取配置类数据,基于第一数据获取模式获取与所述数据获取请求对应的目标配置类数据,其中,所述第一数据获取模式表征按照本地缓存、内存数据库和关系型数据库的访问顺序获取配置类数据,所述本地缓存、内存数据库和关系型数据库均用于存储配置类数据;
26、第二获取单元,用于若所述解析结果表征获取业务类数据,基于第二数据获取模式获取与所述数据获取请求对应的目标业务类数据,其中,所述第二数据获取模式表征按照从数据库和主数据库的访问顺序获取业务类数据,所述从数据库用于同步所述主数据库中的数据。
27、可选地,所述第一获取单元包括:
28、第一获取子单元,用于在本地缓存中读取与所述数据获取请求对应的数据,若所述本地缓存中不存在与所述数据获取请求对应的数据,在所述内存数据库中读取与所述数据获取请求对应的数据;
29、第二获取子单元,用于若所述内存数据库中不存在与所述数据获取请求对应的数据,在所述关系型数据库中读取与所述数据获取请求对应的数据,得到目标配置类数据;
30、第一同步子单元,用于将所述目标配置类数据同步至所述内存数据库,并将所述目标配置类数据更新到本地缓存中。
31、可选地,所述装置还包括:
32、第一写入子单元,用于在业务类数据写入的情况下,将业务类数据写入至主数据库,并将写入的业务类数据对应的键值写入至内存数据库,其中,写入至所述内存数据库中的键值配置有过期时间;
33、第二同步子单元,用于将所述主数据库中的数据同步至从数据库;
34、其中,所述内存书库中的键值对应的过期时间的时长大于所述主数据库和所述从数据库的数据同步时延。
35、一种电子设备,包括:
36、存储器,用于存储程序;
37、处理器,用于执行所述程序,所述程序具体用于实现如上述中任意一项所述的应用于高并发场景的数据处理方法。
38、相较于现有技术,本申请提供了一种应用于高并发场景的数据处理方法、装置及电子设备,响应于接收到数据获取请求,若获取配置类数据,基于第一数据获取模式获取与数据获取请求对应的目标配置类数据,其中,第一数据获取模式表征按照本地缓存、内存数据库和关系型数据库的访问顺序获取配置类数据。若获取业务类数据,基于第二数据获取模式获取与数据获取请求对应的目标业务类数据,其中,第二数据获取模式表征按照从数据库和主数据库的访问顺序获取业务类数据。对于配置类数据通过本地缓存和内存数据库的应用,对于业务类数据通过主从数据库的读取方式,降低了数据库的读压力,提高了交易响应速度,进而提高了高并发场景下的系统服务能力。
本文档来自技高网...【技术保护点】
1.一种应用于高并发场景的数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于第一数据获取模式获取与所述数据获取请求对应的目标配置类数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述在本地缓存中读取与所述数据获取请求对应的数据,包括:
4.根据权利要求1所述的方法,其特征在于,还包括:
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述基于第二数据获取模式获取与所述数据获取请求对应的目标业务类数据,包括:
7.一种应用于高并发场景的数据处理装置,其特征在于,包括:
8.根据权利要求7所述的装置,其特征在于,所述第一获取单元包括:
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
10.一种电子设备,其特征在于,包括:
【技术特征摘要】
1.一种应用于高并发场景的数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于第一数据获取模式获取与所述数据获取请求对应的目标配置类数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述在本地缓存中读取与所述数据获取请求对应的数据,包括:
4.根据权利要求1所述的方法,其特征在于,还包括:
5.根据权利要求1所述的方法,其特征在于,...
【专利技术属性】
技术研发人员:何福江,史飞,罗金飞,
申请(专利权)人:中国农业银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。