本发明专利技术提供了一种多源数据规范化处理方法、装置、系统及存储介质，涉及大数据技术领域。其中所述多源数据规范化处理方法包括：基于大数据平台，获取不同数据源的多源数据的变更记录信息，并将变更记录信息写入消息队列；确定消息队列中的变更记录信息所对应的处理器，并通过处理器对变更记录信息对应的多源数据进行规范化处理，得到标准数据信息；将标准数据信息存储于与标准数据信息对应的存储介质中。本发明专利技术实现了聚合不同系统和数据结构的多源数据，解决了数据定义不明确，格式不标准，规范不统一的问题以适应不同的应用场景，使不同业务均能够规范化进行数据获取和业务处理，为金融机构的工作人员的数据处理提供了方便。为金融机构的工作人员的数据处理提供了方便。为金融机构的工作人员的数据处理提供了方便。
【技术实现步骤摘要】
一种多源数据规范化处理方法、装置、系统及存储介质
[0001]本专利技术涉及大数据
，更具体地说，涉及一种多源数据规范化处理方法、装置、系统及存储介质。
技术介绍
[0002]在金融机构或其相关部门，例如银行系统中，设有不同的系统、应用平台和对应数据库，其中存储有大量业务、用户和规范等有关数据，不同系统、应用平台和对应数据库中的数据存储的标准均有所不同。
[0003]随着银行系统的业务量的增长，原有的数据处理、治理和管理的方式，由于受限于历史上并没有统一的业务数据的标准、约束和开发规范，存在一定程度上的局限性。这些局限性体现在很多方便，比如数据规范性问题和数据聚合问题，以及风控合规等问题上。
[0004]因此，目前的银行系统、金融机构或其相关部门中由于数据存储标准和规范的不同，导致数据的获取、数据的聚合以及风控、合规等等均受到较大影响，为金融机构的工作人员的数据处理带来不便。
技术实现思路
[0005]有鉴于此，针对于上述技术问题，本专利技术提供一种多源数据规范化处理方法，包括：
[0006]基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列；
[0007]确定所述消息队列中的变更记录信息所对应的处理器，并通过所述处理器对所述变更记录信息对应的所述多源数据进行规范化处理，得到标准数据信息；
[0008]将所述标准数据信息存储于与所述标准数据信息对应的存储介质中，以便于通过所述大数据平台对所述存储介质中的所述标准数据信息进行调用。
[0009]优选地，所述基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列，包括：
[0010]根据所述多源数据所在的源数据库的数据库类型确定监听方式，并通过所述监听方式对所述源数据库进行监听；
[0011]采集所述源数据库在出现数据变更时所生成的消息变更日志，并将所述消息变更日志写入所述消息队列。
[0012]优选地，所述基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列，包括：
[0013]接收存储所述多源数据的第三方系统根据与所述大数据平台对应的消息推送格式所推送的推送格式信息；
[0014]将所述推送格式信息组合成推送数据集合；
[0015]将所述数据集合中的所述推送格式信息写入对应的所述消息队列。
[0016]优选地，大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列，包括：
[0017]根据预设时间间隔，拉取所述多源数据对应的数据源中的变更记录；
[0018]将所述变更记录写入所述消息队列。
[0019]优选地，所述确定所述消息队列中的变更记录信息所对应的处理器，包括：
[0020]基于所述大数据平台所部署的服务器，通过所述服务器的消息类型和路由规则确定所述消息队列中的变更记录信息所对应的处理器。
[0021]优选地，所述基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列之前，还包括：
[0022]构建预设标准大数据存储协议；其中，所述预设标准大数据存储协议包括字段名,字段类型,字段格式和字段约束规范；
[0023]所述通过所述处理器对所述变更记录信息对应的所述多源数据进行规范化处理，得到标准数据信息，包括：
[0024]根据预设标准大数据存储协议，提取所述多源数据的关键信息；
[0025]将所述关键信息转换为与所述预设标准大数据存储协议中的所述字段格式对应的标准格式，得到规范化数据，并将所述规范化数据作为所述标准数据信息。
[0026]优选地，所述根据预设标准大数据存储协议，提取所述多源数据的关键信息之前，还包括：
[0027]对所述消息队列对应的多源数据进行有效性验证；
[0028]所述将所述关键信息转换为与所述预设标准大数据存储协议对应的标准格式，得到规范化数据，并将所述规范化数据作为所述标准数据信息之后，还包括：
[0029]对所述标准数据信息进行审查和校验，以便于在审查和校验通过后，将所述标准数据信息存储于所述存储介质中。
[0030]优选地，所述将所述标准数据信息存储于与所述标准数据信息对应的存储介质，包括：
[0031]获取所述标准数据信息所对应的功能类别；
[0032]根据所述功能类别确定所述标准数据信息所要存入的目标存储介质；
[0033]将所述标准数据信息存入对应的所述目标存储介质。
[0034]此外，为解决上述问题，本专利技术还提供一种多源数据规范化处理装置，包括：
[0035]获取模块，用于基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列；
[0036]处理模块，用于确定所述消息队列中的变更记录信息所对应的处理器，并通过所述处理器对所述变更记录信息对应的所述多源数据进行规范化处理，得到标准数据信息；
[0037]存储模块，用于将所述标准数据信息存储于与所述标准数据信息对应的存储介质中，以便于通过所述大数据平台对所述存储介质中的所述标准数据信息进行调用。
[0038]此外，为解决上述问题，本专利技术还提供一种多源数据规范化处理系统，包括存储器以及处理器，所述存储器中存储有多源数据规范化处理程序，所述处理器运行所述多源数据规范化处理程序以使所述多源数据规范化处理系统执行如上述所述的多源数据规范化处理方法。
[0039]此外，为解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多源数据规范化处理程序，所述多源数据规范化处理程序被处理器执行时实现如上述所述的多源数据规范化处理方法。
[0040]此外，为解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多源数据规范化处理程序，所述多源数据规范化处理程序被处理器执行时实现如上述所述的多源数据规范化处理方法。
[0041]本专利技术提供了一种多源数据规范化处理方法、装置、系统及存储介质，其中，所述方法包括：
[0042]基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列；
[0043]确定所述消息队列中的变更记录信息所对应的处理器，并通过所述处理器对所述变更记录信息对应的所述多源数据进行规范化处理，得到标准数据信息；
[0044]将所述标准数据信息存储于与所述标准数据信息对应的存储介质中，以便于通过所述大数据平台对所述存储介质中的所述标准数据信息进行调用。
[0045]本专利技术通过采用大数据平台，对不同数据源的多源数据的变更记录信息进行消息队列的构建，并通过处理器对多源数据进行规范化处理，并在处理后存入对应的存储介质中。本专利技术实现了聚合不同系统、数据结构的多源数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多源数据规范化处理方法，其特征在于，包括：基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列；确定所述消息队列中的变更记录信息所对应的处理器，并通过所述处理器对所述变更记录信息对应的所述多源数据进行规范化处理，得到标准数据信息；将所述标准数据信息存储于与所述标准数据信息对应的存储介质中，以便于通过所述大数据平台对所述存储介质中的所述标准数据信息进行调用。2.如权利要求1所述多源数据规范化处理方法，其特征在于，所述基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列，包括：根据所述多源数据所在的源数据库的数据库类型确定监听方式，并通过所述监听方式对所述源数据库进行监听；采集所述源数据库在出现数据变更时所生成的消息变更日志，并将所述消息变更日志写入所述消息队列。3.如权利要求1所述多源数据规范化处理方法，其特征在于，所述基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列，包括：接收存储所述多源数据的第三方系统根据与所述大数据平台对应的消息推送格式所推送的推送格式信息；将所述推送格式信息组合成推送数据集合；将所述数据集合中的所述推送格式信息写入对应的所述消息队列。4.如权利要求1所述多源数据规范化处理方法，其特征在于，所述基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列，包括：根据预设时间间隔，拉取所述多源数据对应的数据源中的变更记录；将所述变更记录写入所述消息队列。5.如权利要求1所述多源数据规范化处理方法，其特征在于，所述确定所述消息队列中的变更记录信息所对应的处理器，包括：基于所述大数据平台所部署的服务器，通过所述服务器的消息类型和路由规则确定所述消息队列中的变更记录信息所对应的处理器。6.如权利要求1所述多源数据规范化处理方法，其特征在于，所述基于大数据平台，获取不同数据源的多源数据所对应的变更记录信息，并将所述变更记录信息写入消息队列之前，还包括：构建预设标准大数据存储协议；其中，所述预设标准大数据存储协议包括字段名,字段类型,字段格式和字段约束规范；所述通过所述处理器对所述变更...
【专利技术属性】
技术研发人员：赵治政，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。