数据整合方法、系统及计算机可读存储介质技术方案

本发明专利技术公开了一种数据整合方法、系统及计算机可读存储介质，所述数据整合方法包括：获取各子系统的源数据；分别对所述各子系统的源数据进行标准化处理，得到标准化数据；对所述标准化数据进行数据清洗；对各子系统清洗后的标准化数据进行整合。本发明专利技术能够解决现有的多系统数据整合方法人工工作量大、处理效率较低的问题。的问题。的问题。

【技术实现步骤摘要】
数据整合方法、系统及计算机可读存储介质


[0001]本专利技术涉及数据整合
，尤其涉及一种数据整合方法、系统及计算机可读存储介质。

技术介绍

[0002]随着企业发展及信息系统基础建设的升级，企业的数据可能会被分割在多个单一子系统中运行管理或者无法做全量数据迁移。因此，在需要对数据进行统计分析时，需从多个子系统中导出数据，然后通过人工方式对数据进行整合处理。上述方式需人工从多个子系统中导出数据，进而对数据进行处理，此人工方式对数据处理存在步骤繁琐、整合困难的问题，从而导致人工工作量大，处理效率较低。

技术实现思路

[0003]本专利技术的主要目的在于提供一种数据整合方法，旨在解决现有的多系统数据整合方法人工工作量大、处理效率较低的问题。
[0004]为实现上述目的，本专利技术提供一种数据整合方法，所述数据整合方法包括：
[0005]获取各子系统的源数据；
[0006]分别对所述各子系统的源数据进行标准化处理，得到标准化数据；
[0007]对所述标准化数据进行数据清洗；
[0008]对各子系统清洗后的标准化数据进行整合。
[0009]可选地，所述分别对所述各子系统的源数据进行标准化处理，得到标准化数据的步骤包括：
[0010]根据预设标准标签，分别检测所述各子系统的源数据的标签中是否存在非标准标签；
[0011]若所述源数据的标签中存在非标准标签，则将所述源数据中的非标准标签与所述预设标准标签进行匹配，得到对应的目标标准标签；
>[0012]将所述源数据中的非标准标签替换为对应的目标标准标签，得到标准化数据。
[0013]可选地，所述对所述标准化数据进行数据清洗的步骤包括：
[0014]根据预设数据主键，检测所述标准化数据中各类数据的关键标准标签对应的标签值是否存在空缺；
[0015]若存在空缺，则将关键标准标签对应的标签值存在空缺的标准化数据删除。
[0016]可选地，所述对所述标准化数据进行数据清洗的步骤包括：
[0017]根据预设数据主键，检测同类数据中是否存在多个同一主体的标准化数据；
[0018]若存在，则判断所述多个同一主体的标准化数据中对应关键标准标签的标签值是否相同；
[0019]若不相同，将所述多个同一主体的标准化数据中对应的不同标签值取并集合并在对应关键标准标签中，并将所述多个同一主体数据对应的相同标签值取交集合并在对应关
键标准标签中。
[0020]可选地，所述对所述标准化数据进行数据清洗的步骤包括：
[0021]检测所述标准化数据中的标签值是否存在异常名称或者异常格式；
[0022]若存在异常名称，则根据预设标准标签值，将所述标准化数据中的异常名称转换为对应的目标标准名称；
[0023]若存在异常格式，则根据预设标准标签值，将所述标准化数据中的异常格式转换为对应的目标标准格式。
[0024]可选地，所述对所述标准化数据进行数据清洗的步骤之前，还包括：
[0025]对所述源数据的标签进行统计，将统计结果发送至工作端；
[0026]接收所述工作端基于所述统计结果反馈的所述预设数据主键。
[0027]可选地，所述对各子系统清洗后的标准化数据进行整合的步骤包括：
[0028]获取各子系统清洗后的标准化数据的数据标识；
[0029]根据所述数据标识确定各子系统清洗后的标准化数据所属的类别；
[0030]根据确定得到的类别对各子系统清洗后的标准化数据进行整合。
[0031]可选地，所述数据整合方法还包括：
[0032]每隔预设时间获取各子系统的实时数据；
[0033]将所述实时数据与所述源数据进行比对，以检测各子系统是否存在新增数据；
[0034]若存在，则获取所述新增数据，并对所述新增数据进行标准化处理和数据清洗，得到处理后的新增数据；
[0035]根据所述处理后的新增数据对已整合的数据进行更新。
[0036]此外，为实现上述目的，本专利技术还提供一种数据整合系统，所述数据整合系统包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的数据整合程序，所述数据整合程序被处理器执行时实现如上述的数据整合方法的步骤。
[0037]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据整合程序，所述数据整合程序被处理器执行时实现如上所述的数据整合方法的步骤。
[0038]本专利技术提供一种数据整合方法、系统及计算机可读存储介质。获取各子系统的源数据；分别对所述各子系统的源数据进行标准化处理，得到标准化数据；对所述标准化数据进行数据清洗；对各子系统清洗后的标准化数据进行整合。通过上述方式，当需要对多个子系统的数据进行整合分析时，通过从各子系统中获取数据，并对数据进行数据清洗和标准化处理，将处理完成后的各子系统数据整合分类统一输出，可实现数据自动化的导出和整合，相比于现有技术中人工进行多系统数据的处理，可显著提高数据处理效率。
附图说明
[0039]图1是本专利技术实施例方案涉及的硬件运行环境的终端结构示意图；
[0040]图2为本专利技术数据整合方法第一实施例的流程示意图；
[0041]图3为本专利技术数据整合方法第三实施例的流程示意图；
[0042]图4为本专利技术实施例方案涉及的一应用场景的系统示意图。
[0043]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0044]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0045]参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的终端结构示意图。
[0046]本专利技术实施例终端可以为PC(personal computer，个人计算机)，也可以是平板电脑、便携计算机、服务器等终端设备。
[0047]如图1所示，该终端可以包括：处理器1001，例如CPU(Central Processing Unit，中央处理器)，通信总线1002，网络接口1003，存储器1004。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1003可选的可以包括标准的有线接口(如USB接口)、无线接口(如WI
‑
FI接口)。存储器1004可以是高速RAM存储器，也可以是稳定的存储器(non
‑
volatile memory)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
[0048]本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0049]如图1所示，作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块以及数据整合程序。
[0050]在图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据整合方法，其特征在于，所述数据整合方法包括：获取各子系统的源数据；分别对所述各子系统的源数据进行标准化处理，得到标准化数据；对所述标准化数据进行数据清洗；对各子系统清洗后的标准化数据进行整合。2.如权利要求1所述的数据整合方法，其特征在于，所述分别对所述各子系统的源数据进行标准化处理，得到标准化数据的步骤包括：根据预设标准标签，分别检测所述各子系统的源数据的标签中是否存在非标准标签；若所述源数据的标签中存在非标准标签，则将所述源数据中的非标准标签与所述预设标准标签进行匹配，得到对应的目标标准标签；将所述源数据中的非标准标签替换为对应的目标标准标签，得到标准化数据。3.如权利要求1所述的数据整合方法，其特征在于，所述对所述标准化数据进行数据清洗的步骤包括：根据预设数据主键，检测所述标准化数据中各类数据的关键标准标签对应的标签值是否存在空缺；若存在空缺，则将关键标准标签对应的标签值存在空缺的标准化数据删除。4.如权利要求1所述的数据整合方法，其特征在于，所述对所述标准化数据进行数据清洗的步骤包括：根据预设数据主键，检测同类数据中是否存在多个同一主体的标准化数据；若存在，则判断所述多个同一主体的标准化数据中对应关键标准标签的标签值是否相同；若不相同，将所述多个同一主体的标准化数据中对应的不同标签值取并集合并在对应关键标准标签中，并将所述多个同一主体数据对应的相同标签值取交集合并在对应关键标准标签中。5.如权利要求1所述的数据整合方法，其特征在于，所述对所述标准化数据进行数据清洗的步骤包括：检测所述标准化数据中的标签值是否存在异常名称或者异常格式；若存在异常名称，...

【专利技术属性】
技术研发人员：廖星培，陈慧，吴开宇，黄燕清，郭水萍，
申请(专利权)人：上汽通用五菱汽车股份有限公司，
类型：发明
国别省市：