数据管理方法及装置制造方法及图纸

本申请实施例提供了一种数据管理方法及装置，该方法首先接收原始数据接入数据中台的数据接入请求，根据数据接入请求携带的数据来源标识，确定原始数据对应的多个候选客户端，并创建与多个候选客户端分别对应的多个目标子线程和多个目标子加载器，再通过多个目标子线程分别调用对应的目标子加载器，分别加载多个候选客户端的候选驱动文件，以启动多个候选客户端，再通过多个候选客户端分别读取原始数据，得到多个候选数据，根据多个候选数据确定目标数据，最后将目标数据接入数据中台。本申请中通过创建多个子线程和子加载器，来分别对不同来源的数据进行接入数据中台，提高了数据管理效率。管理效率。管理效率。

【技术实现步骤摘要】
数据管理方法及装置


[0001]本申请涉及数据管理
，尤其涉及一种数据管理方法及装置。

技术介绍

[0002]在大数据时代，越来越多的数据信息充斥着人们的工作和生活，为方便对数据的管理，研究学者引入数据中台这一平台，用户可以在数据中台中对不同来源的数据进行统一管理。
[0003]但是用户在将数据接入数据中台的过程中发现，相同来源不同版本的数据在接入数据中台的过程中往往会发生冲突，例如，开源的kafka组件和华为大数据平台的kafka组件，如果要同时接入数据中台，它们是存在代码包冲突的，也就是说开源的kafka数据和华为的kafka数据无法同时接入数据中台。传统的解决方法是开发对应的小工具，通过小工具将同一来源不同版本的数据转化为同一版本的数据，再接入数据中台，这种传统的数据接入方法在接入数据之前要先开发小工具，因此数据管理效率太低，且系统开发成本较高。

技术实现思路

[0004]本申请实施例提供一种数据管理方法及装置，在减少系统开发成本的同时，提高了数据管理效率。
[0005]第一方面，本申请提供一种数据管方法，包括：接收原始数据接入数据中台的数据接入请求，数据接入请求携带原始数据的数据来源标识；根据数据来源标识，确定原始数据对应的多个候选客户端，并通过主线程创建与多个候选客户端分别对应的多个目标子线程和多个目标子加载器，一个候选客户端对应一条目标子线程和一个目标子加载器，每个目标子线程用于调用对应的目标子加载器启动对应的候选客户端，每个候选客户端对应一种类型的消息中间件；通过多个目标子线程分别调用对应的目标子加载器，分别加载多个候选客户端的候选驱动文件，以启动多个候选客户端；通过多个候选客户端分别读取原始数据，得到多个候选数据；根据多个候选数据确定接入数据中台的目标数据；将目标数据接入数据中台。
[0006]可选地，在本申请一些可能的实现方式中，多个候选客户端分别携带客户端标识；通过主线程创建与多个候选客户端分别对应的多个目标子线程和多个目标子加载器的步骤，包括：通过主线程创建与多个候选客户端分别对应的多个目标子线程；根据多个客户端标识，确定多个候选客户端分别对应的多个候选驱动文件，以及多个候选驱动文件对应的多个文件路径；基于多个文件路径，通过主线程创建与多个候选客户端分别对应的多个目标子加
载器。
[0007]可选地，在本申请一些可能的实现方式中，根据多个候选数据确定接入数据中台的目标数据的步骤，包括：对多个候选数据进行完整度分析，得到多个候选数据分别对应的多个完整性数值；将多个候选数据中完整性数值最高的候选数据，确定为接入数据中台的目标数据。
[0008]可选地，在本申请一些可能的实现方式中，根据多个候选数据确定接入数据中台的目标数据的步骤，包括：获取多个候选数据分别对应的多个数据读取时间；将多个候选数据中数据读取时间最短的候选数据，确定为接入数据中台的目标数据。
[0009]可选地，在本申请一些可能的实现方式中，原始数据包括第一原始数据和第二原始数据；根据数据来源标识，确定原始数据对应的多个候选客户端，并通过主线程创建与多个候选客户端分别对应的多个目标子线程和多个目标子加载器的步骤，包括：判断第一原始数据和第二原始数据是否为同一类型数据，相同客户端产生的数据为同一类型数据；若第一原始数据和第二原始数据为不同类型数据，则根据第一原始数据的第一数据来源标识，确定第一原始数据对应的多个第一候选客户端，并通过主线程创建与多个第一候选客户端分别对应的多个第一目标子线程和多个第一目标子加载器，根据第二原始数据的第二数据来源标识，确定第二原始数据对应的多个第二候选客户端，并通过主线程创建与多个第二候选客户端分别对应的多个第二目标子线程和多个第二目标子加载器；若第一原始数据和第二原始数据为同一类型数据，根据数据来源标识，确定原始数据对应的多个第三候选客户端，并通过主线程创建与多个第三候选客户端分别对应的多个第三目标子线程和多个第三目标子加载器。
[0010]可选地，在本申请一些可能的实现方式中，第一原始数据和第二原始数据为同一类型数据；通过多个候选客户端分别读取原始数据，得到多个候选数据的步骤，包括：基于预设的数据接入顺序优先级列表，判断第一原始数据和第二原始数据的接入顺序优先级；根据第一原始数据和第二原始数据的接入顺序优先级通过多个第三候选客户端分别读取原始数据，得到多个候选数据。
[0011]可选地，在本申请一些可能的实现方式中，在接收原始数据接入数据中台的接入请求的步骤之前，还包括：将原始数据对应的多个候选客户端的候选驱动文件存储在预置的存储单元中。
[0012]可选地，在本申请一些可能的实现方式中，在将目标数据接入数据中台的步骤之后，还包括：删除多个候选客户端分别对应的多个目标子线程和多个目标子加载器。
[0013]可选地，在本申请一些可能的实现方式中，将目标数据接入数据中台的步骤，包括：
将目标数据进行数据转换和清洗，得到处理后的目标数据；将处理后的目标数据接入数据中台。
[0014]第二方面，本申请提供一种数据管理装置，包括：接收模块，用于接收原始数据接入数据中台的数据接入请求，数据接入请求携带原始数据的数据来源标识；创建模块，用于根据数据来源标识，确定原始数据对应的多个候选客户端，并通过主线程创建与多个候选客户端分别对应的多个目标子线程和多个目标子加载器，一个候选客户端对应一条目标子线程和一个目标子加载器，每个目标子线程用于调用对应的目标子加载器启动对应的候选客户端，每个候选客户端对应一种类型的消息中间件；加载模块，用于通过多个目标子线程分别调用对应的目标子加载器，分别加载多个候选客户端的候选驱动文件，以启动多个候选客户端；读取模块，用于通过多个候选客户端分别读取原始数据，得到多个候选数据；确定模块，用于根据多个候选数据确定接入数据中台的目标数据；接入模块，用于将目标数据接入数据中台。
[0015]第三方面，本申请实施例提供了一种服务器，服务器包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据管理方法中的步骤。
[0016]第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述数据管理方法中的步骤。
[0017]本申请实施例提供了一种数据管理方法及装置，该方法首先接收原始数据的数据接入请求，根据数据接入请求携带的数据来源标识，确定原始数据对应的多个候选客户端，并创建与多个候选客户端分别对应的多个目标子线程和多个目标子加载器，再通过多个目标子线程分别调用对应的目标子加载器，分别加载多个候选客户端的候选驱动文件，以启动多个候选客户端，再通过多个候选客户端分别读取原始数据，得到多个候选数据，根据多个候选数据确定目标数据，最后将目标数据接入数据中台。本申请中通过创建多个子线程和子加载器，来分别对不同来源的数据进行接入数据中台，提高了数据管理效率。
附图说明
[0018]为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：接收原始数据接入数据中台的数据接入请求，所述数据接入请求携带所述原始数据的数据来源标识；根据所述数据来源标识，确定所述原始数据对应的多个候选客户端，并通过主线程创建与所述多个候选客户端分别对应的多个目标子线程和多个目标子加载器，一个候选客户端对应一条目标子线程和一个目标子加载器，每个目标子线程用于调用对应的目标子加载器启动对应的候选客户端，每个候选客户端对应一种类型的消息中间件；通过所述多个目标子线程分别调用对应的目标子加载器，分别加载所述多个候选客户端的候选驱动文件，以启动所述多个候选客户端；通过所述多个候选客户端分别读取所述原始数据，得到多个候选数据；根据所述多个候选数据确定接入所述数据中台的目标数据；将所述目标数据接入所述数据中台。2.如权利要求1所述的数据管理方法，其特征在于，所述多个候选客户端分别携带客户端标识；所述通过主线程创建与所述多个候选客户端分别对应的多个目标子线程和多个目标子加载器的步骤，包括：通过所述通过主线程创建与所述多个候选客户端分别对应的多个目标子线程；根据多个所述客户端标识，确定所述多个候选客户端分别对应的多个候选驱动文件，以及所述多个候选驱动文件对应的多个文件路径；基于所述多个文件路径，通过所述通过主线程创建与所述多个候选客户端分别对应的多个目标子加载器。3.如权利要求1所述的数据管理方法，其特征在于，所述根据所述多个候选数据确定接入所述数据中台的目标数据的步骤，包括：对所述多个候选数据进行完整度分析，得到所述多个候选数据分别对应的多个完整性数值；将所述多个候选数据中完整性数值最高的候选数据，确定为接入所述数据中台的目标数据。4.如权利要求1所述的数据管理方法，其特征在于，所述根据所述多个候选数据确定接入所述数据中台的目标数据的步骤，包括：获取所述多个候选数据分别对应的多个数据读取时间；将所述多个候选数据中数据读取时间最短的候选数据，确定为接入所述数据中台的目标数据。5.如权利要求1所述的数据管理方法，其特征在于，所述原始数据包括第一原始数据和第二原始数据；所述根据所述数据来源标识，确定所述原始数据对应的多个候选客户端，并通过主线程创建与所述多个候选客户端分别对应的多个目标子线程和多个目标子加载器的步骤，包括：判断所述第一原始数据和所述第二原始数据是否为同一类型数据，相同客户端产生的数据为同一类型数据；若所述第一原始数据和所述第二原始数据为不同类型数据，则根据所述第一原始数据的第一数据来源标识，确定所述第一原始数据对应的多个第一候选客户端，并通过所述主
线程创建...

【专利技术属性】
技术研发人员：王亚其，谭军胜，何正威，朱博，
申请(专利权)人：武汉中科通达高新技术股份有限公司，
类型：发明
国别省市：