【技术实现步骤摘要】
本专利技术涉及计算机，更具体的说是涉及一种水利数据质量检测方法、系统、装置及可读存储介质。
技术介绍
1、数据作为新型生产要素，是数字化、网络化、智能化的基础，已快速融入生产、分配、流通、消费和社会服务管理等各环节，深刻改变着生产方式、生活方式和社会治理方式。随着水利信息化的发展，水利行业也产生了大量的数据，并通过数据的汇聚、治理、分析、挖掘，很好的支撑了水利业务开展，在业务办理、决策分析、数据孪生等领域发挥了巨大作用，但是数据质量是关键，好的数据质量是保证统计分析和挖掘结果准确性的基础。
2、当前，通常利用数据中台产品中内置的数据质量检测模块来实现水利数据的质量检测。但是，现有数据中台产品中的数据质量检测模块都是基于内置规则进行的通用数据质量检测，如字段非空检测、字段长度检测、身份证格式检测等，这些内置的规则无法满足水利业务对数据质量检查的需要，添加内置检测规则需要重启数据质量检测模块，无法保证数据质量检测的及时性。
3、由此可见，如何根据水利数据的特性通过动态的方式添加数据质量检测规则，以实现数据质量检测，是我们亟待解决的问题。
技术实现思路
1、针对以上问题，本专利技术的目的在于提供一种水利数据质量检测方法、系统、装置及可读存储介质，能够根据水利数据的特性自定义数据质量检测规则，并进行数据质量监测规则的动态添加和执行，无需重启数据质量检测系统，减少重启对数据质量检测的影响，提高了数据质量。
2、本专利技术为实现上述目的，通过以下技术方案实现
3、基于水利数据特征，编写动态数据质量检测规则；
4、将动态数据质量检测规则接入预设的数据质量管理系统；
5、创建质量检测任务；
6、通过支持http协议的客户端工具执行质量检测任务，并将检测结果写入消息队列中；
7、从消息队列中读取检测结果，生成质量检测报告并进行展示。
8、进一步，所述编写动态数据质量检测规则，包括：
9、在controller层创建接口；
10、在service层创建抽象类abstractstqualitydetectservice，用于数据库的连接和检测结果的写入；
11、在service层创建检测规则实现类singletablequalitydetectservice，继承抽象类abstractstqualitydetectservice，以实现其检测规则的业务逻辑。
12、进一步，所述将动态数据质量检测规则接入预设的数据质量管理系统，包括：
13、在数据质量管理系统内的数据质量规则模块，添加动态数据质量检测规则；配置动态数据质量检测规则名称和动态数据质量检测规则的访问地址。
14、进一步，所述创建质量检测任务，包括：
15、在数据质量管理系统内的定时检测任务模块中创建质量检测任务；
16、定义质量检测任务名称；
17、选择待检测的水利数据资源，并确定相应动态数据质量检测规则。
18、进一步，所述通过支持http协议的客户端工具执行质量检测任务，并将检测结果写入消息队列中，包括：
19、通过httpclient调用确定的动态数据质量检测规则，完成数据质量检测，并将检测结果写入消息队列中。
20、进一步，所述从消息队列中读取检测结果，生成质量检测报告并进行展示，包括：
21、从消息队列中读取对应的检测结果，并写入质量检测报告表中；
22、利用数据质量管理系统的数据质量报告模块，在预设页面中展示质量检测报告表。
23、进一步，所述消息队列采用rabbitmq消息队列系统。
24、相应的，本专利技术还公开了一种水利数据质量检测系统，包括：
25、规则编写模块，配置用于基于水利数据特征，编写动态数据质量检测规则；规则接入模块，配置用于将动态数据质量检测规则接入预设的数据质量管理系统；
26、任务创建模块，配置用于创建质量检测任务；
27、任务执行模块，配置用于通过支持http协议的客户端工具执行质量检测任务，并将检测结果写入消息队列中；
28、结果展示模块，配置用于从消息队列中读取检测结果，生成质量检测报告并进行展示。
29、相应的，本专利技术公开了一种水利数据质量检测装置，包括：
30、存储器，用于存储水利数据质量检测程序；
31、处理器，用于执行所述水利数据质量检测程序时实现如上文任一项所述水利数据质量检测方法的步骤。
32、相应的，本专利技术公开了一种可读存储介质，所述可读存储介质上存储有水利数据质量检测程序，所述水利数据质量检测程序被处理器执行时实现如上文任一项所述水利数据质量检测方法的步骤。
33、对比现有技术，本专利技术有益效果在于：
34、1、本专利技术基于httpclient可动态扩展功能，能够根据水利数据的特性自定义数据质量检测规则，并进行数据质量监测规则的动态添加和执行，完善了数据质量检测规则，无需重启数据质量检测系统，减少重启对水利数据质量检测的影响，提高了数据质量。
35、2、本专利技术支持不同数据库类型的数据质量检测。
36、3、本专利技术支持基于单表的字段检测和基于多字段、多表间的逻辑检测。
37、4、本专利技术通过利用消息队列(rabbitmq)作为中间层，将服务解耦，解决服务调用连接超时的问题。
38、由此可见，本专利技术与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
本文档来自技高网...【技术保护点】
1.一种水利数据质量检测方法，其特征在于，包括：
2.根据权利要求1所述的水利数据质量检测方法，其特征在于，所述编写动态数据质量检测规则，包括：
3.根据权利要求2所述的水利数据质量检测方法，其特征在于，所述将动态数据质量检测规则接入预设的数据质量管理系统，包括：
4.根据权利要求3所述的水利数据质量检测方法，其特征在于，所述创建质量检测任务，包括：
5.根据权利要求4所述的水利数据质量检测方法，其特征在于，所述通过支持HTTP协议的客户端工具执行质量检测任务，并将检测结果写入消息队列中，包括：
6.根据权利要求5所述的水利数据质量检测方法，其特征在于，所述从消息队列中读取检测结果，生成质量检测报告并进行展示，包括：
7.根据权利要求6所述的水利数据质量检测方法，其特征在于，所述消息队列采用RabbitMQ消息队列系统。
8.一种水利数据质量检测系统，其特征在于，包括：
9.一种水利数据质量检测装置，其特征在于，包括：
10.一种可读存储介质，其特征在于：所述可读存储介质上
...【技术特征摘要】
1.一种水利数据质量检测方法，其特征在于，包括：
2.根据权利要求1所述的水利数据质量检测方法，其特征在于，所述编写动态数据质量检测规则，包括：
3.根据权利要求2所述的水利数据质量检测方法，其特征在于，所述将动态数据质量检测规则接入预设的数据质量管理系统，包括：
4.根据权利要求3所述的水利数据质量检测方法，其特征在于，所述创建质量检测任务，包括：
5.根据权利要求4所述的水利数据质量检测方法，其特征在于，所述通过支持http协议的客户端工具执行质量检测任务，并将检测结果写入消息队列中，包括：
6...
【专利技术属性】
技术研发人员：曲建龙，闫海旺，鲁登科，房爱印，尹曦萌，
申请(专利权)人：山东浪潮智水数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。