【技术实现步骤摘要】
本专利技术属于数据监管，具体为数据质量监管方法。
技术介绍
1、随着信息技术的不断发展和普及，数据已成为现代社会不可或缺的重要资源，在组织中，数据被广泛应用于决策制定、业务流程优化、客户关系管理等各个领域，然而，随着数据量的不断增加，数据的质量成为一个备受关注的问题。
2、数据质量问题包括数据的准确性、一致性、完整性、可靠性等方面，而这些问题可能导致不准确的决策、低效的业务流程和客户不满，特别是在金融、医疗、法律等领域，不良数据质量可能导致重大的风险和法律责任，因此，数据质量治理监管变得至关重要，监管部门制定了数据质量治理的法规和标准，监督数据的收集、存储、处理和传输，以确保数据的高质量和安全性，这不仅有助于保护公众利益，还有助于维护市场的公平竞争和企业的声誉，此外，随着全球数据交流的不断增加，跨境数据流动也成为一个重要议题，国际组织和协定如欧盟的通用数据保护条例(gdpr)等，为数据跨境传输提供了指导原则，并规定了数据保护的最低标准，综上所述数据质量治理监管在当前数字化时代具有关键性地位，它不仅关系到数据的质量和安全，还对经济、社会和法律领域产生深远的影响，现有技术中数据质量监管方法一般有保障数据sla就绪时间和通过依赖调度保障数据执行顺序准确性，但是这两种方法中，前者不能保障数据统计值的准确性，而后者数据口径规范不一，较难管理，因此，需要积极采取措施，确保数据质量治理监管的有效实施和合规性，以应对日益复杂的数据环境和挑战。
技术实现思路
1、针对现有技术的不足，本专
2、为实现上述目的，本专利技术提供如下技术方案：数据质量监管方法，具体步骤如下：
3、步骤一：业务质量规则
4、通过统一调度平台，从而创建校验数据表和字段的质量规则，当质量规则触发时，系统会发送告警消息，以便及时发现和处理异常；
5、步骤二：sla监控
6、通过配置sla监控来确保任务按时就绪，如果任务未按时就绪，系统将发送告警信息，以便及时处理异常；
7、步骤三：元数据管理
8、通过元数据管理平台，从而可以管理表信息、字段信息和指标口径，这有助于数据资产落地和数据分析；
9、步骤四：血缘分析
10、建立完善的数据血缘分析功能，可以追踪数据的流转路径，提高数据开发效率和数据流转查询能力。
11、优选的，步骤一中所述确保所有新创建的表都遵循统一的命名规则，如前缀表示数据分层ods、dim、dwd、dwa、app等，表名小写且以字母开头，不包含特殊字符，除了下划线。
12、优选的，步骤三中所述元数据需要每季度或每半年对元数据进行一次全面的审查和更新，以确保其准确性和完整性，确保元数据的准确性和时效性，特别是指标加工逻辑是否已维护，是确保数据质量的重要环节。
13、优选的，步骤三中所述元数据在经历更新时，需要在表中及时的进行更新，从而控制元数据管理表的版本。
14、优选的，步骤二中所述sla监控需要根据任务的实际情况和业务需求进行合理的设置，确保所有关键任务都被纳入sla监控范围。
15、优选的，步骤二中所述的告警信息可以通过电子邮件通知、语音通知以及webhook通知等方式告警管理人员。
16、优选的，步骤二中所述的任务包括数据抽取、转换、加载过程、数据服务接口等关键任务，需要确保这些关键任务在sla的监控中，避免出现sla监控未覆盖关键任务的情况发生。
17、优选的，步骤四中所述在建立数据血缘分析功能时，需要提供直观易用的血缘信息可视化工具，帮助管理人员快速理解数据之间的依赖关系和流转路径。
18、优选的，步骤四中所述在建立数据血缘分析功能时需要在血缘分析系统中实施严格的权限控制机制，根据用户角色和职责分配相应的访问权限，同时，对敏感血缘信息进行加密存储和传输，确保数据安全。
19、与现有技术相比，本专利技术的有益效果如下：
20、通过统一调度平台创建校验数据表和字段的质量规则，实现了业务质量规则的灵活创建与自动校验，从而提升了数据质量，增强了数据处理的自动化水平，其次，通过sla监控对任务执行情况进行实时监控，确保了数据处理任务的按时就绪，增强了业务连续性，然后通过元数据管理平台对表信息、字段信息和指标口径进行了全面管理，能够更准确地理解数据结构和含义，从而提高分析效率和准确性，最后，通过建立完善的数据血缘分析功能，这不仅提高了数据开发的效率，还增强了数据流转的查询能力并且提高了数据的可追溯性，通过以上步骤为互联网公司的数据质量管理提供了一套全面、标准化和高效的解决方案，能够大幅度提高互联网公司对业务数据的洞察力和理解力，有助于推动公司的持续发展和创新。
本文档来自技高网...【技术保护点】
1.数据质量监管方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的数据质量监管方法，其特征在于：步骤一中所述确保所有新创建的表都遵循统一的命名规则，如前缀表示数据分层ODS、DIM、DWD、DWA、APP等，表名小写且以字母开头，不包含特殊字符，除了下划线。
3.根据权利要求1所述的数据质量监管方法，其特征在于：步骤三中所述元数据需要每季度或每半年对元数据进行一次全面的审查和更新，以确保其准确性和完整性，确保元数据的准确性和时效性，特别是指标加工逻辑是否已维护，是确保数据质量的重要环节。
4.根据权利要求1所述的数据质量监管方法，其特征在于：步骤三中所述元数据在经历更新时，需要在表中及时的进行更新，从而控制元数据管理表的版本。
5.根据权利要求1所述的数据质量监管方法，其特征在于：步骤二中所述SLA监控需要根据任务的实际情况和业务需求进行合理的设置，确保所有关键任务都被纳入SLA监控范围。
6.根据权利要求1所述的数据质量监管方法，其特征在于：步骤二中所述的告警信息可以通过电子邮件通知、语音通知以及Webhook
7.根据权利要求1所述的数据质量监管方法，其特征在于：步骤二中所述的任务包括数据抽取、转换、加载过程、数据服务接口等关键任务，需要确保这些关键任务在SLA的监控中，避免出现SLA监控未覆盖关键任务的情况发生。
8.根据权利要求1所述的数据质量监管方法，其特征在于：步骤四中所述在建立数据血缘分析功能时，需要提供直观易用的血缘信息可视化工具，帮助管理人员快速理解数据之间的依赖关系和流转路径。
9.根据权利要求1所述的数据质量监管方法，其特征在于：步骤四中所述在建立数据血缘分析功能时需要在血缘分析系统中实施严格的权限控制机制，根据用户角色和职责分配相应的访问权限，同时，对敏感血缘信息进行加密存储和传输，确保数据安全。
...【技术特征摘要】
1.数据质量监管方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的数据质量监管方法，其特征在于：步骤一中所述确保所有新创建的表都遵循统一的命名规则，如前缀表示数据分层ods、dim、dwd、dwa、app等，表名小写且以字母开头，不包含特殊字符，除了下划线。
3.根据权利要求1所述的数据质量监管方法，其特征在于：步骤三中所述元数据需要每季度或每半年对元数据进行一次全面的审查和更新，以确保其准确性和完整性，确保元数据的准确性和时效性，特别是指标加工逻辑是否已维护，是确保数据质量的重要环节。
4.根据权利要求1所述的数据质量监管方法，其特征在于：步骤三中所述元数据在经历更新时，需要在表中及时的进行更新，从而控制元数据管理表的版本。
5.根据权利要求1所述的数据质量监管方法，其特征在于：步骤二中所述sla监控需要根据任务的实际情况和业务需求进行合理的设置，确保所有关键任务都被纳...
【专利技术属性】
技术研发人员：严文序，
申请(专利权)人：北京齐尔布莱特科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。