System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及计算机,具体涉及一种数据读写方法一种数据读写方法、系统、设备、介质及程序产品。
技术介绍
1、随着业务数据的增多,大数据读取以及写入所需要的耗时日益增加,客户端的读写性能无法满足大数据的读写要求。这种情况可能会导致应用程序变得缓慢,无法及时响应用户请求,从而影响用户体验。因此,需要采取一些措施来提高大数据的读写性能,以满足客户端的应用性能要求。
2、一种可行的方法是使用分布式存储系统来处理大数据的读写。分布式存储系统可以将数据分散存储在多个节点上,从而提高数据的读写速度。
3、还可以采用数据分片技术将数据分散到多个节点上,提高数据的读写性能。通过将数据分成更小的片段,可以将数据分布到多个节点上,从而提高数据的读写速度。
4、然而上述方法均需要在物理层面对客户端物理层面的进行改造,一旦客户端固定,响应用户请求时间长,灵活性差。
技术实现思路
1、本公开要解决的技术问题是为了克服现有技术中客户端的响应用户请求时间长,一旦客户端固定无法提升读写性能的缺陷,提供一种数据读写方法、系统、设备、介质及程序产品。
2、本公开是通过下述技术方案来解决上述技术问题:
3、作为本公开的第一方面,本公开提供一种数据读写方法,应用于客户端,所述客户端的内存包括至少两个内存分区,所述数据读写方法包括:
4、获取目标数据,所述目标数据包括至少两个数据集,所述数据集包括至少一条数据;
5、将从所述目标数据中确定的目标数
6、在所述目标数据集写入完毕后,确定新的目标数据集以及对应的新的目标写内存分区,将所述新的目标数据集写入所述新的目标写内存分区中,直至所述目标数据写入完毕;
7、响应于获取目标数据读取请求,从已写入所述目标数据集的所述目标写内存分区中确定目标读内存分区,并读取所述目标读内存分区存储的所述目标数据集;
8、所述目标数据集读取完毕后,确定新的目标读内存分区,并从所述新的目标读内存分区中读取存储的目标数据集,直至所述目标数据读取完毕。
9、可选地,在所述目标数据集写入完毕后,所述数据读写方法还包括:
10、将所述目标写内存分区标记为可读取状态;
11、所述从已写入所述目标数据集的目标写内存分区中确定目标读内存分区的步骤,具体包括:
12、将内存分区的状态为可读取状态确定为所述目标读内存分区。
13、若所有内存分区的状态均为非可读取状态,则等待,直至某一内存分区的状态变为可读取状态。
14、可选地,所述数据集包括相同种类数据。
15、可选地,所述内存分区根据第一预设条件进行排序;
16、所述确定新的目标数据集以及对应的新的目标写内存分区的步骤,具体包括:
17、将目标写内存分区的下一排序的内存分区确定为所述新的目标写内存分区;
18、所述确定新的目标读内存分区的步骤,具体包括:将所述目标读内存分区的下一排序的内存分区确定为所述新的目标读内存分区。
19、可选地,所述数据集根据第二预设条件进行排序;
20、所述确定新的目标数据集以及对应的新的目标写内存分区的步骤,具体包括:
21、将所述目标数据集的下一排序的数据集作为所述新的目标数据集。
22、可选地,所述目标数据集读取完毕后,所述数据读写方法还包括:
23、将所述目标数据集写入数据库。
24、作为本公开的第二方面,本公开提供一种数据读写方法系统,所述数据读写系统应用于客户端,所述客户端的内存包括至少两个内存分区,所述数据读写系统包括:
25、数据获取模块,用于获取目标数据,所述目标数据包括至少两个数据集,所述数据集包括至少一条数据;
26、第一数据写入模块,用于将从所述目标数据中确定的目标数据集写入对应的目标写内存分区中,在所述目标数据集写入完毕后,确定新的目标数据集以及对应的新的目标写内存分区,将所述新的目标数据集写入所述新的目标写内存分区中,直至所述目标数据写入完毕;
27、数据读取模块,用于响应于获取目标数据读取请求,从已写入所述目标数据集的所述目标写内存分区中确定目标读内存分区,并读取所述目标读内存分区存储的所述目标数据集,所述目标数据集读取完毕后,确定新的目标读内存分区,并从所述新的目标读内存分区中读取存储的目标数据集,直至所述目标数据读取完毕。
28、可选地,所述数据读写系统还包括:
29、状态读写模块,用于在所述目标数据集写入完毕后,将所述目标写内存分区标记为可读取状态,以及读取内存分区的状态;
30、所述数据读取模块包括:状态确定单元和等待单元
31、所述状态确定单元,用于调用所述状态读写模块以确定状态为可读取状态的内存分区为所述目标读内存分区,
32、所述等待单元,用于在所有内存分区的状态均为非可读取状态的情况下等待,直至某一内存分区的状态变为可读取状态。
33、可选地,所述数据集包括相同种类数据。
34、可选地,所述内存分区根据第一预设条件进行排序;
35、所述第一数据写入模块还包括:新目标读分区确定单元;
36、所述新目标读分区确定单元用于将所述目标读内存分区的下一排序的内存分区确定为所述新的目标读内存分区。
37、可选地,所述数据集根据第二预设条件进行排序;
38、所述数据读取模块还包括新数据集确定单元;
39、所述新数据集确定单元用于将所述目标数据集的下一排序的数据集作为所述新的目标数据集。
40、可选地,所述数据读写系统还包括:
41、第二数据写入模块,用于所述目标数据集读取完毕后,将所述目标数据集写入数据库。
42、作为本公开的第三方面,本公开提供一种电子设备,包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面中的数据读写方法。
43、作为本公开第四方面,本公开提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本公开第一方面中的数据读写方法。
44、作为本公开的第五方面,本公开提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如本公开第一方面中的数据读写方法。
45、在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本公开各较佳实例。
46、本公开的积极进步效果在于:
47、将数据集写入内存分区,在写入完毕后,确定新的目标数据集以及对应的新的目标写内存分区;在目标数据还没有全部写入完毕的时候,就可以响应于获取目标数据读取请求,确定目标读内存分区并读取所述目标读内存分区存储的所述目标数据集,可以及时响应用户请求,且本文档来自技高网...
【技术保护点】
1.一种数据读写方法,其特征在于,所述数据读写方法应用于客户端,所述客户端的内存包括至少两个内存分区,所述数据读写方法包括:
2.如权利要求1所述的数据读写方法,其特征在于,在所述目标数据集写入完毕后,所述数据读写方法还包括:
3.如权利要求1所述的数据读写方法,其特征在于,所述数据集包括相同种类数据。
4.如权利要求1所述的数据读写方法,其特征在于,所述内存分区根据第一预设条件进行排序;
5.如权利要求1所述的数据读写方法,其特征在于,所述数据集根据第二预设条件进行排序;
6.如权利要求1所述的数据读写方法,其特征在于,所述目标数据集读取完毕后,所述数据读写方法还包括:
7.一种数据读写方法系统,其特征在于,所述数据读写系统应用于客户端,所述客户端的内存包括至少两个内存分区,所述数据读写系统包括:
8.一种电子设备,包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的数据读写方法。
9.一种计算
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的数据读写方法。
...【技术特征摘要】
1.一种数据读写方法,其特征在于,所述数据读写方法应用于客户端,所述客户端的内存包括至少两个内存分区,所述数据读写方法包括:
2.如权利要求1所述的数据读写方法,其特征在于,在所述目标数据集写入完毕后,所述数据读写方法还包括:
3.如权利要求1所述的数据读写方法,其特征在于,所述数据集包括相同种类数据。
4.如权利要求1所述的数据读写方法,其特征在于,所述内存分区根据第一预设条件进行排序;
5.如权利要求1所述的数据读写方法,其特征在于,所述数据集根据第二预设条件进行排序;
6.如权利要求1所述的数据读写方法,其特征在于,所述目标数据集读取完毕后,所述数据读写方法还...
【专利技术属性】
技术研发人员:郭林瑗,王康贵,刘英,张飞,覃剑,
申请(专利权)人:中金所数据有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。