【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种多源数据处理方法及相关装置。
技术介绍
1、随着信息技术的快速发展和大数据时代的到来，多源数据处理成为了企业和组织面临的重要挑战之一。多源数据处理涉及到从多个不同来源收集、整合、清洗和存储数据，以便进行后续的数据分析和挖掘。 在现代数据处理环境中，多源数据的集成和整合对于支持复杂的业务决策、分析或运营至关重要。然而，由于数据来源的多样性，包括不同的数据库、api接口、文件系统等，数据格式、数据质量以及数据更新频率的差异给多源数据处理带来了极大的挑战。
2、传统的多源数据处理方法通常缺乏对数据源的综合评估机制，导致选择的数据源可能无法满足特定的业务需求或数据质量要求。此外，数据源的数据质量、更新频率和实时性要求也是选择数据源时需要考虑的重要因素，而这些因素在传统的处理方法中往往被忽视。
3、同时，随着业务需求的不断变化和数据源的更新，传统的处理方法往往无法及时适应这些变化，导致数据处理的准确性和时效性受到影响。此外，对于缺失数据的处理，传统方法往往缺乏有效的补充机制，无法确保数据的完整性和准确性。
技术实现思路
1、本申请的目的在于提供一种多源数据处理方法，旨在通过确定数据归集的目标、收集的数据和来源，对潜在数据源进行评分和分类，从而选择出最适合的数据源作为第一数据源。同时，该方法还引入了定期更新评分和重新确定数据源的机制，以确保数据源的选择能够随着业务需求和数据源的变化而及时调整。此外，对于缺失数据的处理，该方法采用了一种基于
2、本申请的目的采用以下技术方案实现：
3、本申请提出一种多源数据处理方法，所述方法包括：
4、s1、确定数据归集的目标、需要收集的数据以及数据来源；
5、s2、对潜在数据源进行第一分类，对第一分类中各数据源进行评分，获得第一评分；根据第一评分以及更新频率，确定第一备选数据源和第一数据源；
6、s3、从数据源提取数据并传输至数据处理中心；
7、s4、对不同数据源的数据进行预处理；并将不同数据源的数据转换为统一格式，并进行整合，将整合后的数据存储到目标数据库中。
8、进一步地，所述s2包括：
9、创建各数据源的数据映射表，获得各数据源中的字段及其描述；
10、对各数据源的数据映射表进行聚类分析，获得第一分类；
11、根据数据映射表以及需求列表，对第一分类中各数据源进行评分，获得第一评分；
12、根据所述第一评分、各数据源的更新频率以及数据实时性要求，确定第一数据源；
13、定期更新所述第一评分，并根据更新结果重新确定第一数据源。
14、进一步地，所述根据数据映射表以及需求列表，对第一分类中各数据源进行评分，获得第一评分；包括：
15、所述第一评分通过如下公式获取；
16、
17、
18、
19、其中，为第一分类中第i个数据源的第一评分，为第一分类中第i个数据源覆盖率评分，为第一分类中第i个数据源相似度评分；为第一分类中第i个数据源第j个字段的重要性评分，为第一分类中第i个数据源第j个字段的缺失率，为需求列表中包含的字段总数；m为第一分类中第i个数据源包含需求字段总个数；为第一分类中第i个数据源第j个字段与多个需求字段的最高相似度评分。
20、进一步地，所述根据所述第一评分、各数据源的更新频率以及数据实时性要求，确定第一数据源，包括：
21、比较各数据源的更新频率与实时性要求，将更新频率满足实施性要求的数据源作为第一备选数据源；
22、在第一备选数据源中，选择第一评分最高的数据源作为第一分类中的第一数据源。
23、进一步地，所述定期更新所述第一评分，包括：
24、更新周期为：
25、
26、
27、
28、为当前需求与前一次需求的特征相似度；为预设相邻两次需求相似度阈值；max()为取最大值，abs（）为取绝对值，t 为当前更新周期，为预设更新周期，为第i个数据源的第k-1次获得的第一评分；为第i个数据源的第k-2次获得的第一评分；为根据多个数据源获得的的最大值；为相邻两次评分变化的最大阈值。
29、优选地，所述s3包括：
30、从第一数据源中提取数据作为主要数据；
31、将主要数据与目标数据进行对比，获得缺失数据；
32、选择第一备选数据源中除第一数据源外并且包含所述缺失数据的数据源，并针对缺失数据进行第二评分；
33、选择缺失数据第二评分最大值所在的数据源进行该缺失数据的数据补充。
34、优选地，所述第二评分的获取方法包括：
35、
36、其中，为第e个缺失数据基于第i个数据源的第二评分， 为第e个缺失数据的字段在第i个数据源中与多个需求字段的最高相似度评分；为第e个缺失数据在第i个数据源中的缺失率，w1、w2为权重系数。
37、优选地，所述s3 还包括：
38、根据时间序列，将主要数据按照第一评分的顺序依次上传至数据处理中心；
39、根据时间序列，按照第二评分的顺序依次或同时上传缺失数据。
40、优选地，所述s4包括：
41、对数据进行预处理，所述预处理包括删除重复数据和填补缺失值；
42、将预处理后的数据进行转换和规约后，整合到目标数据库中。
43、本申请提供一种多源数据处理装置，所述装置包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述至少一个处理器被配置成执行所述计算机程序时实现本申请任一项所述方法的步骤。
44、本专利技术的有益效果包括： 通过对潜在数据源进行第一分类和评分，能够选择出质量高、覆盖率广的数据源作为主要数据源，确保了数据的准确性和可靠性。同时，针对缺失数据的第二评分机制，能够选择最适合的数据源进行数据补充，进一步提高了数据的完整性；同时减少数据重复，根据数据源的更新频率和实时性要求，能够动态地确定第一数据源，并据此调整数据的提取和上传顺序；基于时间序列和评分顺序的数据处理策略，确保了优先处理重要且高质量的数据，显著提高了数据处理的效率和响应速度。对不同数据源的数据进行预处理、转换和规约，确保了数据格式的统一性和一致性。随后，将处理后的数据整合到目标数据库中，实现了数据的集中存储和管理，为后续的数据分析和应用提供了便利；动态调整更新周期的方法使得系统能够根据数据源质量和业务需求的变化来灵活地调整评分更新的频率，当数据源质量或业务需求发生显著变化时，能够更频繁地更新评分以反映这些变化；当变化较小时，可以适当延长更新周期以减少不必要的计算开销。
45、综上所述，这种多源数据处理方法通过智能化的数据源选择、高效的数据处理策略和灵活的数据管理方式本文档来自技高网...
【技术保护点】
1.一种多源数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多源数据处理方法，其特征在于，所述S2包括：
3.根据权利要求2所述的多源数据处理方法，其特征在于，所述根据数据映射表以及需求列表，对第一分类中各数据源进行评分，获得第一评分；包括：
4.根据权利要求2所述的多源数据处理方法，其特征在于，所述根据所述第一评分、各数据源的更新频率以及数据实时性要求，确定第一数据源，包括：
5.根据权利要求2所述的多源数据处理方法，其特征在于，所述定期更新所述第一评分，包括：
6.根据权利要求1所述的多源数据处理方法，其特征在于，所述S3包括：
7.根据权利要求6所述的多源数据处理方法，其特征在于，所述第二评分的获取方法包括：
8.根据权利要求6所述的多源数据处理方法，其特征在于，所述S3 还包括：
9.根据权利要求1所述的多源数据处理方法，其特征在于，所述S4包括：
10.一种多源数据处理装置，其特征在于，所述装置包括存储器和至少一个处理器，所述存储器存储有计算机程
...【技术特征摘要】
1.一种多源数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多源数据处理方法，其特征在于，所述s2包括：
3.根据权利要求2所述的多源数据处理方法，其特征在于，所述根据数据映射表以及需求列表，对第一分类中各数据源进行评分，获得第一评分；包括：
4.根据权利要求2所述的多源数据处理方法，其特征在于，所述根据所述第一评分、各数据源的更新频率以及数据实时性要求，确定第一数据源，包括：
5.根据权利要求2所述的多源数据处理方法，其特征在于，所述定期更新所述第一评分，包括：
<...【专利技术属性】
技术研发人员：蔡英珠，黄金龙，
申请(专利权)人：江苏鸿云软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。