一种银行数据湖数据处理方法、装置、系统和介质制造方法及图纸

本申请提供了一种银行数据湖数据处理方法、装置、系统和介质，可应用于大数据领域或金融领域。该方法包括：获取银行数据湖待入湖数据，根据银行数据湖待入湖数据的数据标签，判断银行数据湖待入湖数据的类型；当银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的银行数据湖待入湖数据，得到银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；根据银行当前实时交易对实时银行数据湖待入湖交易数据进行修改，并存储入银行数据湖内。从而可以对待入湖数据进行自动处理，根据数据类型的不同进行科学规划，提高了银行数据湖的数据质量和可用性。提高了银行数据湖的数据质量和可用性。提高了银行数据湖的数据质量和可用性。

【技术实现步骤摘要】
一种银行数据湖数据处理方法、装置、系统和介质


[0001]本申请涉及计算机
，特别涉及一种银行数据湖数据处理方法、装置、系统和介质。

技术介绍

[0002]数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统，它按原样存储数据，而无需事先对数据进行结构化处理。与传统的数据架构要求整合、面向主题、固定分层等特点不同，数据湖为银行全员独立参与数据运营和应用创新提供了极大的灵活性。
[0003]传统的数据湖由于事先没有科学规划，导致数据质量和可用性越来越差，因此，如何提高数据湖数据的质量，是本领域需要解决的技术问题。

技术实现思路

[0004]有鉴于此，提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]本申请的目的在于提供一种银行数据湖数据处理方法、装置、系统和介质，可以提高数据湖数据的质量。
[0006]为实现上述目的，本申请有如下技术方案：
[0007]第一方面，本申请实施例提供了一种银行数据湖数据处理方法，包括：
[0008]获取银行数据湖待入湖数据；
[0009]根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型；
[0010]当所述银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；
[0011]根据所述银行当前实时交易对所述实时银行数据湖待入湖交易数据进行修改，并存储入所述银行数据湖内。
[0012]在一种可能的实现方式中，还包括：
[0013]当所述银行数据湖待入湖数据的类型包括监控类数据时，根据银行当前实时监控查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖监控数据；
[0014]将所述实时银行数据湖待入湖监控数据分发给银行监控类应用调用。
[0015]在一种可能的实现方式中，还包括：
[0016]当所述银行数据湖待入湖数据的类型包括分析类数据时，根据银行分析类应用的启动信号，加载所述银行数据湖待入湖数据中的与所述银行分析类应用对应的银行数据湖待入湖分析数据；
[0017]将所述银行数据湖待入湖分析数据发送至所述银行分析类应用调用，并返回所述银行分析类应用调用的结果。
[0018]在一种可能的实现方式中，所述根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型，包括：
[0019]将所述银行数据湖待入湖数据的数据标签与预设标签类型逐一比对，根据比对结果得到所述银行数据湖待入湖数据的类型。
[0020]第二方面，本申请实施例提供了一种银行数据湖数据处理装置，包括：
[0021]获取单元，用于获取银行数据湖待入湖数据；
[0022]判断单元，用于根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型；
[0023]第一查找单元，用于当所述银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；
[0024]修改单元，用于根据所述银行当前实时交易对所述实时银行数据湖待入湖交易数据进行修改，并存储入所述银行数据湖内。
[0025]在一种可能的实现方式中，还包括：
[0026]第二查找单元，用于当所述银行数据湖待入湖数据的类型包括监控类数据时，根据银行当前实时监控查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖监控数据；
[0027]分发单元，用于将所述实时银行数据湖待入湖监控数据分发给银行监控类应用调用。
[0028]在一种可能的实现方式中，还包括：
[0029]加载单元，用于当所述银行数据湖待入湖数据的类型包括分析类数据时，根据银行分析类应用的启动信号，加载所述银行数据湖待入湖数据中的与所述银行分析类应用对应的银行数据湖待入湖分析数据；
[0030]发送单元，用于将所述银行数据湖待入湖分析数据发送至所述银行分析类应用调用，并返回所述银行分析类应用调用的结果。
[0031]在一种可能的实现方式中，所述判断单元，具体用于：
[0032]将所述银行数据湖待入湖数据的数据标签与预设标签类型逐一比对，根据比对结果得到所述银行数据湖待入湖数据的类型。
[0033]第三方面，本申请实施例提供了一种银行数据湖数据处理系统，包括：
[0034]存储器，用于存储计算机程序；
[0035]处理器，用于执行所述计算机程序时实现如上述所述银行数据湖数据处理方法的步骤。
[0036]第四方面，本申请实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述所述银行数据湖数据处理方法的步骤。
[0037]与现有技术相比，本申请实施例具有以下有益效果：
[0038]本申请实施例提供了一种银行数据湖数据处理方法、装置、系统和介质，可应用于
大数据领域或金融领域。该方法包括：获取银行数据湖待入湖数据，根据银行数据湖待入湖数据的数据标签，判断银行数据湖待入湖数据的类型；当银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的银行数据湖待入湖数据，得到银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；根据银行当前实时交易对实时银行数据湖待入湖交易数据进行修改，并存储入银行数据湖内。从而可以对待入湖数据进行自动处理，根据数据类型的不同进行科学规划，提高了银行数据湖的数据质量和可用性。
附图说明
[0039]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0040]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0041]图1示出了一种传统的数据平台的架构示意图；
[0042]图2示出了本申请实施例提供的一种数据湖装置的示意图；
[0043]图3示出了本申请实施例提供的一种数据湖分区详情的示意图；
[0044]图4示出了本申请实施例提供的一种数据湖节点部署的示意图；
[0045]图5示出了本申请实施例提供的一种数据管理工具模块的示意图；
[0046]图6示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种银行数据湖数据处理方法，其特征在于，包括：获取银行数据湖待入湖数据；根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型；当所述银行数据湖待入湖数据的类型包括交易类数据时，根据银行当前实时交易查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖交易数据；根据所述银行当前实时交易对所述实时银行数据湖待入湖交易数据进行修改，并存储入所述银行数据湖内。2.根据权利要求1所述的方法，其特征在于，还包括：当所述银行数据湖待入湖数据的类型包括监控类数据时，根据银行当前实时监控查找对应的所述银行数据湖待入湖数据，得到所述银行数据湖待入湖数据中的实时银行数据湖待入湖监控数据；将所述实时银行数据湖待入湖监控数据分发给银行监控类应用调用。3.根据权利要求1所述的方法，其特征在于，还包括：当所述银行数据湖待入湖数据的类型包括分析类数据时，根据银行分析类应用的启动信号，加载所述银行数据湖待入湖数据中的与所述银行分析类应用对应的银行数据湖待入湖分析数据；将所述银行数据湖待入湖分析数据发送至所述银行分析类应用调用，并返回所述银行分析类应用调用的结果。4.根据权利要求1所述的方法，其特征在于，所述根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型，包括：将所述银行数据湖待入湖数据的数据标签与预设标签类型逐一比对，根据比对结果得到所述银行数据湖待入湖数据的类型。5.一种银行数据湖数据处理装置，其特征在于，包括：获取单元，用于获取银行数据湖待入湖数据；判断单元，用于根据所述银行数据湖待入湖数据的数据标签，判断所述银行数据湖待入湖数据的类型；第一查找单元，用于当所述银行数据湖待入湖数据的类型包括交易...

【专利技术属性】
技术研发人员：牙祖将，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：