【技术实现步骤摘要】
本公开涉及数据处理，本公开尤其涉及一种数据处理方法、数据处理系统、可读存储介质及计算机程序产品。
技术介绍
1、数据处理系统在进行业务的逻辑处理时，需要从多个不同的数据源获取数据进行计算。计算前需要将这些数据从不同的上游数据源拉取到数据处理系统的mysql数据库中，计算时再将拉取的数据加载至内存数据库中，并使用固定的业务规则与对应的数据进行匹配，然后对数据进行处理。
2、但是各业务模块存在从上游数据重复获取数据的问题；并且对于各个业务模块的数据处理涉及多张表的关联处理，效率慢。采用mysql数据库存储获取到的数据及后续的计算数据不能实现灵活扩展，且大量数据存储在内存数据库中等待计算，对资源占用比较高；在少量数据有变更的时候，需要对全部数据重新计算，效率较低。
技术实现思路
1、为了解决上述技术问题之一，本公开提供了一种数据处理方法、数据处理系统、可读存储介质及计算机程序产品。
2、根据本公开的一个方面，提供了一种数据处理方法，包括：
3、响应于第一业务处理请求，获取所述第一业务处理请求对应的第一数据关联关系，所述第一数据关联关系表征所述第一业务处理请求所需的数据类型；
4、基于所述第一数据关联关系从公共数据库获取所述第一业务处理请求所需数据类型的数据的数据标识，并将数据标识存储至待计算数据队列；
5、响应于所述第一业务处理请求所需数据类型的数据的数据标识均已存储至所述待计算数据队列，从所述待计算数据队列读取所述第一业务处理
6、基于读取的数据标识从所述公共数据库获得数据标识对应的数据，得到待计算数据，并基于所述第一业务处理请求的业务处理规则对所述待计算数据进行处理，得到数据处理结果。
7、根据本公开的至少一个实施方式的数据处理方法，所述将数据标识存储至待计算数据队列，包括：将不同数据类型的数据的数据标识分别存储至各数据类型对应的待计算数据队列。
8、根据本公开的至少一个实施方式的数据处理方法，所述从所述待计算数据队列读取所述第一业务处理请求所需数据类型对应的数据标识，包括：从所述各数据类型对应的待计算数据队列中分别地读取数据标识。
9、根据本公开的至少一个实施方式的数据处理方法，所述数据处理方法还包括：
10、响应于第二业务处理请求，获取所述第二业务处理请求对应的第二数据关联关系，所述第二数据关联关系表征所述第二业务处理请求所需的数据类型；
11、从所述待计算数据队列中读取所述第二业务处理请求所需数据类型对应的数据标识；
12、响应于所述第二业务处理请求所需数据类型的数据的数据标识未全部从所述待计算数据队列获取到，确定所述待计算数据队列中缺少的数据类型；
13、从所述公共数据库获取所述缺少的数据类型的数据的数据标识，并将数据标识存储至所述待计算数据队列；
14、响应于所述第二业务处理请求所需数据类型的数据的数据标识均已存储至所述待计算数据队列，从所述待计算数据队列读取所述第二业务处理请求所需数据类型对应的数据标识；
15、基于读取的数据标识从所述公共数据库获得数据标识对应的数据，得到待计算数据，并基于所述第二业务处理请求的业务处理规则对所述待计算数据进行处理，得到数据处理结果。
16、根据本公开的至少一个实施方式的数据处理方法，响应于所述第二业务处理请求所需数据类型的数据的数据标识全部从所述待计算数据队列获取到，则基于获取到的数据标识从所述公共数据库获得数据标识对应的数据，得到待计算数据，并基于所述第二业务处理请求的业务处理规则对所述待计算数据进行处理，得到数据处理结果。
17、根据本公开的至少一个实施方式的数据处理方法，所述公共数据库上配置有多个数据集合，每个数据集合中存储相同数据类型的数据，不同数据集合存储的数据的数据类型不同。
18、根据本公开的至少一个实施方式的数据处理方法，基于以下处理过程对所述公共数据库中的数据进行更新：
19、从上游数据源得到新数据；
20、对所述新数据进行数据类型提取，获得所述新数据的数据类型；
21、基于所述新数据的数据类型提取所述新数据的索引信息；
22、基于所述新数据的数据类型和索引信息为所述新数据配置数据标识并将配置有数据标识的所述新数据更新至所述公共数据库中所述数据类型对应的数据集合中。
23、根据本公开的至少一个实施方式的数据处理方法，所述数据标识为全局唯一标识。
24、根据本公开的至少一个实施方式的数据处理方法，所述公共数据库为非关系型数据库，所述非关系型数据库以列族的形式对所述新数据进行存储。
25、根据本公开的至少一个实施方式的数据处理方法，所述对所述公共数据库中的数据进行更新，包括：增加数据、删除数据、变更数据中的一项或多项。
26、根据本公开的另一个方面，提供一种数据处理系统，包括处理器和存储器，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，所述处理器执行本公开任一个实施方式的数据处理方法。
27、根据本公开的又一个方面，提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本公开任一个实施方式所述的数据处理方法。
28、根据本公开的再一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时至少用于实现本公开任一个实施方式所述的数据处理方法。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述将数据标识存储至待计算数据队列，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述从所述待计算数据队列读取所述第一业务处理请求所需数据类型对应的数据标识，包括：
4.根据权利要求1至3中任一项所述的数据处理方法，其特征在于，所述数据处理方法还包括：
5.根据权利要求4所述的数据处理方法，其特征在于，响应于所述第二业务处理请求所需数据类型的数据的数据标识全部从所述待计算数据队列获取到，则基于获取到的数据标识从所述公共数据库获得数据标识对应的数据，得到待计算数据，并基于所述第二业务处理请求的业务处理规则对所述待计算数据进行处理，得到数据处理结果。
6.根据权利要求1所述的数据处理方法，其特征在于，所述公共数据库上配置有多个数据集合，每个数据集合中存储相同数据类型的数据，不同数据集合存储的数据的数据类型不同。
7.根据权利要求1至6中任一项所述的数据处理方法，其特征在于，基于以下处理过程对所述公共数据库中的数
8.一种数据处理系统，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，所述处理器执行权利要求1至7中任一项所述的数据处理方法。
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1至7中任一项所述的数据处理方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时至少用于实现如权利要求1至7中任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述将数据标识存储至待计算数据队列，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述从所述待计算数据队列读取所述第一业务处理请求所需数据类型对应的数据标识，包括：
4.根据权利要求1至3中任一项所述的数据处理方法，其特征在于，所述数据处理方法还包括：
5.根据权利要求4所述的数据处理方法，其特征在于，响应于所述第二业务处理请求所需数据类型的数据的数据标识全部从所述待计算数据队列获取到，则基于获取到的数据标识从所述公共数据库获得数据标识对应的数据，得到待计算数据，并基于所述第二业务处理请求的业务处理规则对所述待计算数据进行处理，得到数据处理结果。
6.根据权利要求1所述的数据处理方法，其特征在...
【专利技术属性】
技术研发人员：史世旺，
申请(专利权)人：贝壳找房北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。