一种数据治理方法技术

本申请实施例属于金融科技技术领域，应用于金融大数据治理场景中，涉及一种数据治理方法

【技术实现步骤摘要】
一种数据治理方法、装置、设备及其存储介质


[0001]本申请涉及金融科技
，应用于金融大数据治理场景中，尤其涉及一种数据治理方法
、
装置
、
设备及其存储介质
。

技术介绍

[0002]随着金融行业的快速发展，金融公司涉及到的业务范围越来越宽泛，随着大数据的发展，越来越多的金融公司建立了自己独有的大数据处理平台，集合了数仓
、
数据湖
、
业务库等源数据库
。
[0003]在目前金融公司内，随着时间的流逝，数据标签
、
模型特征的数据规模越来越庞大，占用的存储资源越来越大，数据规模的增长提升了数据治理的难度，大数据平台的数据治理和传统数据库的数据治理在数据清理
、
数据归档
、
数据压缩
、
任务优化等方面有很大的区别
。
如果仍然采用传统数据库的治理方式，由于金融业务大数据平台涉及的数据较为冗杂，无法有效减小数据存储压力，且无法保证数据的可用性和金融业务系统的稳定性
。

技术实现思路

[0004]本申请实施例的目的在于提出一种数据治理方法
、
装置
、
设备及其存储介质，以解决现有技术在进行大数据治理时，无法有效减小数据存储压力，且无法保证数据的可用性和金融业务系统的稳定性的问题
。
[0005]为了解决上述技术问题，本申请实施例提供数据治理方法，采用了如下所述的技术方案：
[0006]一种数据治理方法，包括下述步骤：
[0007]识别预设的数据统一访问入口地址，并在所述访问入口地址处进行埋点；
[0008]基于所述埋点，获得预设采集周期内被访问数据的访问记录；
[0009]根据预设的元数据信息表，获得目标大数据平台内所有数据的表征信息；
[0010]基于所述访问记录和所述表征信息，进行综合分析，获得综合分析结果；
[0011]通过所述综合分析结果，确定所述被访问数据的访问类别；
[0012]根据所述表征信息
、
所述访问类别和预设的治理机制，对所述目标大数据平台内所有数据进行治理
。
[0013]进一步的，所述预设采集周期包括采集起始时间和采集结束时间，所述基于所述埋点，获得预设采集周期内被访问数据的访问记录的步骤，具体包括：
[0014]识别系统当前时间，作为第一时间；
[0015]若所述第一时间达到所述采集起始时间，则触发启动所述埋点；
[0016]根据所述埋点，获得所述被访问数据的访问用户标识
、
访问用户类型
、
访问开始时间
、
访问持续时间以及访问路径，并根据所述访问开始时间生成所述访问记录；
[0017]识别系统当前时间，作为第二时间；
[0018]若所述第二时间达到所述采集结束时间，则触发关闭所述埋点，并获取所述访问
记录作为预设采集周期内被访问数据的访问记录
。
[0019]进一步的，所述元数据信息表中记录了所述目标大数据平台内所有数据的存储文件库
、
存储文件名
、
存储文件类型
、
数据存储路径
、
有效时限
、
入库时间以及访问权限，所述表征信息包括存储表征信息
、
时效表征信息和安全表征信息，所述根据预设的元数据信息表，获得目标大数据平台内所有数据的表征信息的步骤，具体包括：
[0020]通过所述元数据信息表，识别所述目标大数据平台内所有数据的存储文件库
、
存储文件名
、
存储文件类型
、
数据存储路径
、
有效时限
、
入库时间以及访问权限；
[0021]获得所述存储文件库
、
存储文件名
、
存储文件类型
、
数据存储路径作为所述存储表征信息；
[0022]获得所述有效时限以及入库时间作为所述时效表征信息；
[0023]获得所述访问权限作为所述安全表征信息；
[0024]在执行所述获得所述有效时限以及入库时间作为所述时效表征信息的步骤之后，所述方法还包括：
[0025]识别系统当前时间，作为第三时间；
[0026]根据所述第三时间和所述时效表征信息，识别出已过有效时效的数据，作为目标数据；
[0027]根据所述目标数据的存储表征信息以及预设的数据暂存文件，将所述目标数据转移到所述数据暂存文件，
[0028]或者，根据所述目标数据的存储表征信息更新所述目标数据的时效表征信息
。
[0029]进一步的，所述基于所述访问记录和所述表征信息，进行综合分析，获得综合分析结果的步骤，具体包括：
[0030]根据所述访问记录和所述表征信息，分析出所述被访问数据的存储表征信息
、
时效表征信息
、
安全表征信息
、
以及被访问次数；
[0031]基于所述访问用户标识
、
访问用户类型以及所述安全表征信息，识别所述访问用户是否具有访问权限；
[0032]基于所述访问开始时间
、
访问持续时间以及所述时效表征信息，识别所述被访问数据是否已过访问有效时限；
[0033]基于所述存储表征信息，识别所述访问路径是否为有效路径；
[0034]基于所述被访问次数和预设的次数阈值，识别所述被访问数据是否为高频访问数据；
[0035]基于预设的隐私字段表，识别所述被访问数据是否为隐私数据；
[0036]所述访问类别包括有效类别和无效类别，所述通过所述综合分析结果，确定所述被访问数据的访问类别的步骤，具体包括：
[0037]若所述访问用户具有访问权限
、
所述被访问数据未过访问有效时限，且所述访问路径为有效路径，则所述访问类别为有效类别，否则，所述访问类别为无效类别
。
[0038]进一步的，所述根据所述表征信息
、
所述访问类别和预设的治理机制，对所述目标大数据平台内所有数据进行治理的步骤，具体包括：
[0039]识别所述被访问数据的访问类别是否为无效类别；
[0040]若所述访问类别为无效类别，则获得无效原因，其中，所述无效原因包括所述访问
用户不具有访问权限
、
所述被访问数据已过访问有效时限
、
所述访问路径为无效路径；
[0041]若所述无效原因为所述访问用户不具有访问权限，则识别所述被访问数据的存储表征信息，发送所述存储表征信息至目标维护端；
[0042]若所述无效原因为所述被访问数据已过访问有效时限，则将所述被访问数据作为目标数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据治理方法，其特征在于，包括下述步骤：识别预设的数据统一访问入口地址，并在所述访问入口地址处进行埋点；基于所述埋点，获得预设采集周期内被访问数据的访问记录；根据预设的元数据信息表，获得目标大数据平台内所有数据的表征信息；基于所述访问记录和所述表征信息，进行综合分析，获得综合分析结果；通过所述综合分析结果，确定所述被访问数据的访问类别；根据所述表征信息
、
所述访问类别和预设的治理机制，对所述目标大数据平台内所有数据进行治理
。2.
根据权利要求1所述的数据治理方法，其特征在于，所述预设采集周期包括采集起始时间和采集结束时间，所述基于所述埋点，获得预设采集周期内被访问数据的访问记录的步骤，具体包括：识别系统当前时间，作为第一时间；若所述第一时间达到所述采集起始时间，则触发启动所述埋点；根据所述埋点，获得所述被访问数据的访问用户标识
、
访问用户类型
、
访问开始时间
、
访问持续时间以及访问路径，并根据所述访问开始时间生成所述访问记录；识别系统当前时间，作为第二时间；若所述第二时间达到所述采集结束时间，则触发关闭所述埋点，并获取所述访问记录作为预设采集周期内被访问数据的访问记录
。3.
根据权利要求2所述的数据治理方法，其特征在于，所述元数据信息表中记录了所述目标大数据平台内所有数据的存储文件库
、
存储文件名
、
存储文件类型
、
数据存储路径
、
有效时限
、
入库时间以及访问权限，所述表征信息包括存储表征信息
、
时效表征信息和安全表征信息，所述根据预设的元数据信息表，获得目标大数据平台内所有数据的表征信息的步骤，具体包括：通过所述元数据信息表，识别所述目标大数据平台内所有数据的存储文件库
、
存储文件名
、
存储文件类型
、
数据存储路径
、
有效时限
、
入库时间以及访问权限；获得所述存储文件库
、
存储文件名
、
存储文件类型
、
数据存储路径作为所述存储表征信息；获得所述有效时限以及入库时间作为所述时效表征信息；获得所述访问权限作为所述安全表征信息；在执行所述获得所述有效时限以及入库时间作为所述时效表征信息的步骤之后，所述方法还包括：识别系统当前时间，作为第三时间；根据所述第三时间和所述时效表征信息，识别出已过有效时效的数据，作为目标数据；根据所述目标数据的存储表征信息以及预设的数据暂存文件，将所述目标数据转移到所述数据暂存文件，或者，根据所述目标数据的存储表征信息更新所述目标数据的时效表征信息
。4.
根据权利要求3所述的数据治理方法，其特征在于，所述基于所述访问记录和所述表征信息，进行综合分析，获得综合分析结果的步骤，具体包括：根据所述访问记录和所述表征信息，分析出所述被访问数据的存储表征信息
、
时效表
征信息
、
安全表征信息
、
以及被访问次数；基于所述访问用户标识
、
访问用户类型以及所述安全表征信息，识别所述访问用户是否具有访问权限；基于所述访问开始时间
、
访问持续时间以及所述时效表征信息，识别所述被访问数据是否已过访问有效时限；基于所述存储表征信息，识别所述访问路径是否为有效路径；基于所述被访问次数和预设的次数阈值，识别所述被访问数据是否为高频访问数据；基于预设的隐私字段表，识别所述被访问数据是否为隐私数据；所述访问类别包括有效类别和无效类别，所述通过所述综合分析结果，确定所述被访问数据的访问类别的步骤，具体包括：若所述访问用户具有访问权限
、
所述被访问数据未过访问有效时限，且所述访问路径为有效路径，则所述访问类别为有效类别，否则，所...

【专利技术属性】
技术研发人员：卢显锋，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：