【技术实现步骤摘要】
本申请涉及数据管理，特别涉及一种数据采集方法、装置、计算机设备及存储介质。
技术介绍
1、数据库是进行数据管理的重要技术平台，而数据采集作为数据管理的核心环节，对进行数据管理具有重大意义。
2、目前的数据采集方法，均基于某种固定规则进行数据采集。例如，目标采集数据为指定时间的数据，那么，服务器就以该指定时间作为数据源系统的传入参数，通过数据接口采集数据源系统中更新时间为该指定时间的数据。
3、然而，基于上述数据采集方法来采集数据，如果系统出现异常情况或系统处于临界状态，执行数据采集任务时可能会遗漏数据，从而导致数据缺失，影响数据的完整性；如果数据源存在多个副本，由于网络存在延迟或数据同步不及时等问题，那么多个副本中存储的数据可能不一致，从而导致采集到的数据不一致。综上，数据可靠性差。
技术实现思路
1、本申请实施例提供了一种数据采集方法、装置、计算机设备及存储介质，保证了数据的完整性和一致性，增强了数据的可靠性，所述技术方案如下：
2、一方面，提供了一种数据采集方法，所述方法包括：
3、响应于接收到数据采集任务的传入参数，基于数据接口的目标可靠性增强策略，对所述传入参数进行优化，所述目标可靠性增强策略为所述数据接口所属的接口类型对应的传入参数处理方式；
4、根据优化后的传入参数，调用所述数据接口，以执行所述数据采集任务；
5、对采集到的数据进行处理，将处理后的数据存储至数据库。
6、另一方面，提供了
7、传入参数优化模块，用于响应于接收到数据采集任务的传入参数，基于数据接口的目标可靠性增强策略，对所述传入参数进行优化，所述目标可靠性增强策略为所述数据接口所属的接口类型对应的传入参数处理方式；
8、数据接口调用模块，用于根据优化后的传入参数，调用所述数据接口，以执行所述数据采集任务；
9、数据处理模块，用于对采集到的数据进行处理，将处理后的数据存储至数据库。
10、在一种可能实现方式中，所述装置还包括：
11、策略配置模块，用于基于数据管理平台的数据接口所属的接口类型，为所述数据接口配置目标可靠性增强策略，所述目标可靠性增强策略为所述数据接口所属的接口类型对应的传入参数处理方式。
12、在一种可能实现方式中，所述策略配置模块，用于对于第一接口类型，所述第一接口类型是指以自然时间为增量字段的数据接口，若所述数据接口支持的数据采集协议为传输更新时间大于所述传入参数的数据，则为所述数据接口配置第一可靠性增强策略，所述第一可靠性增强策略为对所述数据采集任务的所述传入参数减去一个时间单位；
13、对于第二接口类型，所述第二接口类型是指以起止时间段为增量字段的数据接口，所述数据接口支持的数据采集协议为传输更新时间在起止时间段中的数据，则为所述数据接口配置第二可靠性增强策略，所述第二可靠性增强策略为以所述传入参数为基线，分别向前和向后移动指定时间步长。
14、在一种可能实现方式中，所述传入参数优化模块，用于对于第一接口类型，若所述数据接口支持的数据采集协议为传输更新时间大于所述传入参数的数据，则将所述数据采集任务的所述传入参数减去一个时间单位；
15、对于第二接口类型，所述数据接口支持的数据采集协议为传输更新时间在起止时间段中的数据，则以所述传入参数为基线，分别向前和向后移动指定时间步长。
16、在一种可能实现方式中，所述数据处理模块用于基于所述数据接口的接口类型，对所述采集到的数据进行对应的数据完整性校验，若所述完整性校验通过，则执行数据去重步骤，若所述完整性校验不通过，重新执行所述数据采集任务；
17、对所述采集到的数据与缓存区中的数据进行比对，以去除重复数据。
18、在一种可能实现方式中，所述装置还包括：
19、方案配置模块，用于基于所述数据接口的接口类型，从所述接口类型与数据完整性校验方案之间的映射关系中，获取目标数据完整性校验方案，为所述数据接口配置所述目标数据完整性校验方案，其中，所述目标数据完整性校验方案为所述接口类型对应的数据完整性校验方案。
20、在一种可能实现方式中，所述数据处理模块，用于对于第三接口类型，所述第三接口类型是指以版本号为增量字段的数据接口，将所述采集到的数据的版本号与所述缓存区中的数据的版本号一一进行比对，若所述采集到的数据的版本号与所述缓存区中的数据的版本号相同，去除所述采集到的数据中的重复数据，若所述采集到的数据的版本号与所述缓存区中的数据的版本号不同，保留所述采集到的数据中的数据；
21、对于其他接口类型，将所述采集到的数据的主键与所述缓存区数据的主键一一进行比对，若所述采集到的数据的主键与所述缓存区数据的主键相同，则去除所述采集到的数据中的重复数据；若所述采集到的数据的主键与所述缓存区数据的主键不同，保留所述采集到的数据中的数据。
22、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本申请可选实现方式中的数据采集方法所执行的操作。
23、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如本申请可选实现方式中数据采集方法所执行的操作。
24、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述各种可选实现方式中提供的数据采集方法所执行的操作。
25、在本申请实施例中，通过为不同接口类型的数据接口自动配置可靠性增强策略，可以保证执行数据采集任务时不遗漏数据，避免数据缺失，增强了数据的完整性，且对于拥有多个副本的数据源，上述方法可以保证数据源多个副本之间的数据的一致性，进一步地，在基于可靠性增强策略进行数据采集的基础上，对采集到的数据进行数据完整性校验，更加保证了数据的完整性，然后对采集到的数据去重，提高了数据质量。综合使用上述方法，保证了数据的可靠性。
本文档来自技高网...【技术保护点】
1.一种数据采集方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于数据管理平台的数据接口所属的接口类型，为所述数据接口配置目标可靠性增强策略包括：
4.根据权利要求1所述的方法，其特征在于，所述响应于接收到数据采集任务的传入参数，基于数据接口的目标可靠性增强策略，对所述传入参数进行优化包括：
5.根据权利要求1所述的方法，其特征在于，所述对采集到的数据进行处理包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求5所述的方法，其特征在于，所述对所述采集到的数据与缓存区中的数据进行比对，以去除重复数据包括：
8.一种数据采集装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行权利要求1至7任一项权利要求所述的数据采集方法。
1
...【技术特征摘要】
1.一种数据采集方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于数据管理平台的数据接口所属的接口类型，为所述数据接口配置目标可靠性增强策略包括：
4.根据权利要求1所述的方法，其特征在于，所述响应于接收到数据采集任务的传入参数，基于数据接口的目标可靠性增强策略，对所述传入参数进行优化包括：
5.根据权利要求1所述的方法，其特征在于，所述对采集到的数据进行处理包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：...
【专利技术属性】
技术研发人员：王华，王岩，曾敬勇，徐慧如，王云飞，丁尚君，张为民，刘建，杨传江，王剑，
申请(专利权)人：昆仑数智科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。