客户名单的同步方法以及装置、处理器制造方法及图纸

技术编号:36558614 阅读:20 留言:0更新日期:2023-02-04 17:13
本申请公开了一种客户名单的同步方法以及装置、处理器。涉及金融科技领域,该方法包括:通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单;通过联机队列写入服务,将第一目标名单写入联机队列;采用队列消费进程,判断第一目标名单的时间戳是否大于目标名单数据库中的时间戳;若第一目标名单的时间戳大于目标名单数据库中的时间戳,则将联机队列中的第一目标名单同步到目标名单数据库。通过本申请,解决了相关技术中客户名单同步技术时效性差的问题。术时效性差的问题。术时效性差的问题。

【技术实现步骤摘要】
客户名单的同步方法以及装置、处理器


[0001]本申请涉及金融科技领域,具体而言,涉及一种客户名单的同步方法以及装置、处理器。

技术介绍

[0002]现有的客户风险名单同步方法的周期较长,在源名单数据库中周期性的导出名单文件,再将名单文件批量同步到风险名单库中,导致银行无法在同一天内获取到当天更新的名单,降低了客户在银行办理业务的效率。并且风险名单库中的名单取决于名单的加载顺序,如果源名单数据库没有按时间顺序导出和同步名单,会直接影响风险名单库中的名单状态,导致银行读取错误的名单信息。另外,基于现有的客户风险名单库中的储存结构进行查询,会导致同一客户的多名单查询会遍历多次客户风险名单数据库,查询效率低。
[0003]针对相关技术中客户名单同步技术时效性差的问题,目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请的主要目的在于提供一种客户名单的同步方法以及装置、处理器,以解决相关技术中客户名单同步技术时效性差的问题。
[0005]为了实现上述目的,根据本申请的一个方面,提供了一种客户名单的同步方法。该方法包括:通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单;通过联机队列写入服务,将所述第一目标名单写入联机队列;采用队列消费进程,判断所述第一目标名单的时间戳是否大于目标名单数据库中的时间戳;若所述第一目标名单的时间戳大于目标名单数据库中的时间戳,则将所述联机队列中的第一目标名单同步到所述目标名单数据库。
[0006]进一步地,在通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单之前,所述方法还包括:若所述源名单数据库中客户的增量名单已成功更新,则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中,并设置所述增量名单在解除管控缓存库中的有效时间。
[0007]进一步地,在通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单之前,所述方法还包括:采用批量预加载的方式处理至少一个源名单数据库中已存在客户的名单,得到第二目标名单;通过批量队列写入进程,将所述第二目标名单写入批量队列;采用队列消费进程,判断所述第二目标名单的时间戳是否大于目标名单数据库中的时间戳;若所述第二目标名单的时间戳大于目标名单数据库中的时间戳,则将所述第二目标名单同步到所述目标名单数据库。
[0008]进一步地,通过联机队列写入服务,将所述第一目标名单写入联机队列包括:通过将所述第一目标名单中的证件信息映射成固定长度的哈希值;根据所述哈希值的末位数字除以所述联机队列的分区数并取余数,得到第一分区数,其中,所述第一分区数为将所述第
一目标名单写入所述联机队列的分区数;根据所述第一分区数,将所述第一目标名单写入所述联机队列。
[0009]进一步地,若所述第一目标名单的时间戳大于目标名单数据库中的时间戳,则将所述联机队列中的第一目标名单同步到所述目标名单数据库包括:将所述第一目标名单在所述目标名单数据库中采用键值存储样式进行存储,其中,所述键值存储样式中至少包括关键字和值,其中,所述关键字为客户的证件信息,所述值为整合成JSON串的各类名单信息。
[0010]进一步地,在若所述源名单数据库中客户的增量名单已成功更新,则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中,并设置所述增量名单在解除管控缓存库中的有效时间之后,所述方法还包括:若接收到待查询名单的查询指令,则在所述解除管控缓存库中查询是否存在所述待查询名单;若所述解除管控缓存库中存在所述待查询名单,且查询时间在所述解除管控缓存库中待查询名单的有效时间内,得到第一查询结果;若所述解除管控缓存库中不存在所述待查询名单,则从所述目标名单数据库中查找,得到第二查询结果。
[0011]进一步地,通过批量队列写入进程,将所述第二目标名单写入批量队列包括:通过将所述第二目标名单中的证件信息映射成固定长度的哈希值;根据所述哈希值末位数字除以所述批量队列的分区数并取余数,得到第二分区数,其中,所述第二分区数为将所述第二目标名单写入所述批量队列的分区数;根据所述第二分区数,将所述第二目标名单写入所述批量队列。
[0012]为了实现上述目的,根据本申请的另一方面,提供了一种客户名单的同步装置。该装置包括:第一解析单元,用于通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单;第一写入单元,用于通过联机队列写入服务,将所述第一目标名单写入联机队列;第一判断单元,用于采用队列消费进程,判断所述第一目标名单的时间戳是否大于目标名单数据库中的时间戳;第一同步单元,用于若所述第一目标名单的时间戳大于目标名单数据库中的时间戳,则将所述联机队列中的第一目标名单同步到所述目标名单数据库。
[0013]进一步地,所述装置还包括:设置单元,用于在通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单之前,若所述源名单数据库中客户的增量名单已成功更新,则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中,并设置所述增量名单在解除管控缓存库中的有效时间。
[0014]进一步地,所述装置还包括:第二解析单元,用于在通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单之前,采用批量预加载的方式处理至少一个源名单数据库中已存在客户的名单,得到第二目标名单;第二写入单元,用于通过批量队列写入进程,将所述第二目标名单写入批量队列;第二判断单元,用于采用队列消费进程,判断所述第二目标名单的时间戳是否大于目标名单数据库中的时间戳;第二同步单元,用于若所述第二目标名单的时间戳大于目标名单数据库中的时间戳,则将所述第二目标名单同步到所述目标名单数据库。
[0015]进一步地,所述第一写入单元包括:映射子单元,用于通过将所述第一目标名单中的证件信息映射成固定长度的哈希值;计算子单元,用于根据所述哈希值的末位数字除以
所述联机队列的分区数并取余数,得到第一分区数,其中,所述第一分区数为将所述第一目标名单写入所述联机队列的分区数;写入子单元,用于根据所述第一分区数,将所述第一目标名单写入所述联机队列。
[0016]进一步地,所述第一同步单元包括:储存单元,用于将所述第一目标名单在所述目标名单数据库中采用键值存储样式进行存储,其中,所述键值存储样式中至少包括关键字和值,其中,所述关键字为客户的证件信息,所述值为整合成JSON串的各类名单信息。
[0017]进一步地,所述设置单元还包括:第一查询单元,用于在若所述源名单数据库中客户的增量名单已成功更新,则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中,并设置所述增量名单在解除管控缓存库中的有效时间之后,若接收到待查询名单的查询指令,则在所述解除管控缓存库中查询是否存在所述待查询名单;第二查本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种客户名单的同步方法,其特征在于,包括:通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单;通过联机队列写入服务,将所述第一目标名单写入联机队列;采用队列消费进程,判断所述第一目标名单的时间戳是否大于目标名单数据库中的时间戳;若所述第一目标名单的时间戳大于目标名单数据库中的时间戳,则将所述联机队列中的第一目标名单同步到所述目标名单数据库。2.根据权利要求1所述的方法,其特征在于,在通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单之前,所述方法还包括:若所述源名单数据库中客户的增量名单已成功更新,则将所述增量名单的证件信息、名单类型同步到解除管控缓存库中,并设置所述增量名单在解除管控缓存库中的有效时间。3.根据权利要求1所述的方法,其特征在于,在通过数据复制组件,将至少一个源名单数据库中客户的增量名单同步至分布式消息队列并解析,得到第一目标名单之前,所述方法还包括:采用批量预加载的方式处理至少一个源名单数据库中已存在客户的名单,得到第二目标名单;通过批量队列写入进程,将所述第二目标名单写入批量队列;采用队列消费进程,判断所述第二目标名单的时间戳是否大于目标名单数据库中的时间戳;若所述第二目标名单的时间戳大于目标名单数据库中的时间戳,则将所述第二目标名单同步到所述目标名单数据库。4.根据权利要求1所述的方法,其特征在于,通过联机队列写入服务,将所述第一目标名单写入联机队列包括:通过将所述第一目标名单中的证件信息映射成固定长度的哈希值;根据所述哈希值的末位数字除以所述联机队列的分区数并取余数,得到第一分区数,其中,所述第一分区数为将所述第一目标名单写入所述联机队列的分区数;根据所述第一分区数,将所述第一目标名单写入所述联机队列。5.根据权利要求1所述的方法,其特征在于,若所述第一目标名单的时间戳大于目标名单数据库中的时间戳,则将所述联机队列中的第一目标名单同步到所述目标名单数据库包括:将所述第一目标名单在所述目标名单数据库中采用键值存储样式进行存储,其中,所述键值存储样式中至少包括关键字和值,其中,所述关键字为客户的证件信息,所述值为整合成JSON串...

【专利技术属性】
技术研发人员:徐杰高峰陈冰张莹
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1