【技术实现步骤摘要】
本公开涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备及可读存储介质。
技术介绍
1、随着大数据应用的发展，应用的数据也愈来愈多，但伴随着众多的数据信息而来的往往也有数据质量问题。在出现数据质量问题时，需要逐层定位问题并重新运行数据，浪费大量资源。在出现数据问题时，若依靠人工单点解决，链路较长，需要依靠客户报事给一线业务人员，业务人员再反馈给技术人员，技术人员内部再排查问题，甚至下游系统问题需要追溯多个上游系统才能解决，解决问题被动且滞后；此外，依靠单点解决数据问题，业务及技术人员均需投入大量时间，问题易复发、效率低。现有技术中也存在对数据进行质量检测的数据质量平台，但现有的数据质量平台在进行数据质量检测时需要依靠平台自身的性能和大数据徐建，并且数据检测任务只能作定时配置，拓展性能较弱。
技术实现思路
1、有鉴于此，本公开实施例提供了一种数据处理方法、装置、电子设备及可读存储介质，以解决现有技术中数据检测任务过程复杂并且拓展性弱的问题。
2、本公开实施例的第一方面，提供了一种数据处理方法，包括：接收用户输入的任务指令，基于任务指令配置对应的数据检测任务；基于数据检测任务调用数据检测任务对应的至少一个数据源；基于至少一个数据源，获取对应的至少一个数据库的数据信息；基于数据检测任务对应的数据检测规则，对至少一个数据库的数据信息进行数据质量检测，得到至少一个数据库的数据信息对应的检测结果；根据至少一个数据库的数据信息对应的检测结果，确定至少一个数据库的数据信息对应的告警
3、本公开实施例的第二方面，提供了一种数据处理装置，包括：任务生成模块，用于接收用户输入的任务指令，基于任务指令配置对应的数据检测任务；调用模块，用于基于数据检测任务调用数据检测任务对应的至少一个数据源；获取模块，用于基于至少一个数据源，获取对应的至少一个数据库的数据信息；检测模块，用于基于数据检测任务对应的数据检测规则，对至少一个数据库的数据信息进行数据质量检测，得到至少一个数据库的数据信息对应的检测结果；告警模块，用于根据至少一个数据库的数据信息对应的检测结果，确定至少一个数据库的数据信息对应的告警方式。
4、本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
5、本公开实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
6、本公开实施例与现有技术相比存在的有益效果是：该方法可以接收用户发布的任务指令，任务指令描述用户想执行的具体操作或者希望达到的目标。根据任务指令明确数据检测的目标以及要求，配置相对应的数据检测任务。根据已经配置的数据检测任务，确定对应的至少一个数据源，并基于至少一个数据源，获取数据检测任务对应的至少一个数据库的数据信息。使用数据检测任务对应的数据检测规则对至少一个数据库的数据信息进行数据质量检测，用于评估数据信息的完整性、准确性、一致性等质量属性，得到关于至少一个数据库的数据信息的数据质量的检测结果，并根据检测结果采取对应的告警方式通知相关人员，以提醒相关人员及时针对数据问题进行相应的后续处理。本公开的数据处理方法提供了一个完整的自动化的数据质量保障流程，可以对数据问题进行发现、分析、评估和跟进，确保数据的准确性和完整性，满足用户的需求，解决现有技术中数据检测任务过程复杂并且拓展性弱的问题，构建易用、标准化的数据质量检测方法，提升数据检测的准确性，保障数据库中的数据质量。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述数据处理方法，其特征在于，所述基于所述任务指令配置对应的数据检测任务，包括：
3.根据权利要求2所述数据处理方法，其特征在于，所述预设数据检测任务库包含多个预设数据检测任务：
4.根据权利要求3所述数据处理方法，其特征在于，所述基于所述数据检测任务对应的数据检测规则，对至少一个所述数据库的数据信息进行数据质量检测，包括：
5.根据权利要求3所述数据处理方法，其特征在于，所述告警方式包括弱告警和强告警，所述根据至少一个所述数据库的数据信息对应的检测结果，确定至少一个所述数据库的数据信息对应的告警方式之后，还包括：
6.根据权利要求3所述数据处理方法，其特征在于，所述数据检测任务包括定时数据检测任务和工作流触发数据检测任务：
7.根据权利要求3所述数据处理方法，其特征在于：
8.一种数据处理装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述数据处理方法，其特征在于，所述基于所述任务指令配置对应的数据检测任务，包括：
3.根据权利要求2所述数据处理方法，其特征在于，所述预设数据检测任务库包含多个预设数据检测任务：
4.根据权利要求3所述数据处理方法，其特征在于，所述基于所述数据检测任务对应的数据检测规则，对至少一个所述数据库的数据信息进行数据质量检测，包括：
5.根据权利要求3所述数据处理方法，其特征在于，所述告警方式包括弱告警和强告警，所述根据至少一个所述数据库的数据信息对应的检测结果，确定至少一个所述数据库的数据信息对应的告警...
【专利技术属性】
技术研发人员：孙若愚，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。