System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,具体涉及数字医疗领域,尤其涉及一种数据检查方法、装置、计算机设备及存储介质。
技术介绍
1、在数字医疗或金融领域,随着业务的扩大和复杂性的增加,数据治理成为企业管理中不可或缺的一环,数据稽核对于数据治理起到决定性的关键作用,因此如何快速、有效的进行数据稽核,成为数据治理的关键重点。
2、在传统的数据稽核方法中,面临着诸多难题,其中,多源异构数据的复杂性是首要难题。在数字医疗领域,数据来自电子病历、医学图像、基因测序报告等多种来源,而在金融科技领域,数据则涵盖交易记录、市场预测、风险评估等各个方面。这些数据的格式和结构差异显著,数据质量也参差不齐,传统的稽核方法在处理如此大规模的数据时,难以快速发现问题数据并及时处理,使得数据稽核检查的质量和效率大大降低。并且这些数据还具有较大的隐私性,在数据稽核的过程中,需要经过多方进行核对,难以有效保证数据在传输过程中的安全隐私性,使得数据检查的安全性大大降低,不利于业务的有效发展。
技术实现思路
1、本申请实施例的目的在于提出一种数据检查方法、装置、计算机设备及存储介质,以解决无法安全、有效地对异构数据进行稽核检查的问题。
2、为了解决上述技术问题,本申请实施例提供一种数据检查方法,采用了如下所述的技术方案:
3、获取初始异构数据,根据所述初始异构数据和预构建的图数据库模型构建图数据库实例;
4、从所述图数据库实例中提取初始数据集,并对所述初始数据集进行隐私加密处理,得到隐私化
5、对所述隐私化数据集进行解密分析,得到数据关联图谱;
6、获取预设的数据稽核规则,根据所述数据稽核规则对所述数据关联图谱进行数据检查,得到数据检查结果;
7、将所述数据检查结果转换成数据检查报告,并将所述数据检查报告发送至显示界面进行显示。
8、进一步的,所述获取初始异构数据,根据所述初始异构数据和预构建的图数据库模型构建图数据库实例的步骤,具体包括:
9、获取异构数据提取标识,根据所述异构数据提取标识在数据库中提取所述初始异构数据;
10、根据数据挖掘算法对所述初始异构数据进行属性特征分析,得到数据关键属性;
11、根据关联规则挖掘算法对所述数据关键属性进行关联关系挖掘,构建数据属性关联图;
12、根据图神经网络算法对所述数据属性关联图进行语义关联特征学习,生成模型优化参数;
13、根据所述模型优化参数对所述图数据库模型进行优化,并根据优化后的图数据库模型对所述初始异构数据进行图化表示,构建所述图数据库实例。
14、进一步的,所述从所述图数据库实例中提取初始数据集,并对所述初始数据集进行隐私加密处理,得到隐私化数据集的步骤,具体包括:
15、获取数据查询信息,根据所述数据查询信息在所述图数据库实例中提取所述初始数据集;
16、对所述初始数据集进行同态加密处理,得到加密数据集;
17、对所述加密数据集进行隐私级别评估,得到隐私评估结果;
18、判断所述隐私评估结果是否大于等于预设的隐私阈值;
19、若所述隐私评估结果大于等于所述隐私阈值,则对所述加密数据集进行脱敏处理,得到脱敏数据集;
20、若所述隐私评估结果小于所述隐私阈值,则将所述加密数据集标记为非脱敏数据集;
21、将所述脱敏数据集和所述非脱敏数据集合并为所述隐私化数据集。
22、进一步的,所述对所述隐私化数据集进行解密分析,得到数据关联图谱的步骤,具体包括:
23、对所述隐私化数据集进行同态解密,得到解密数据集;
24、根据所述解密数据集构建数据图模型;
25、基于最短路径算法对所述数据图模型的节点进行路径距离计算,得到节点路径距离,并将所述节点路径距离作为节点关联强度;
26、基于预设排名算法计算所述数据图模型中每个节点的重要性评分;
27、根据所述节点关联强度和所述重要性评分构建所述数据关联图谱。
28、进一步的,所述获取预设的数据稽核规则,根据所述数据稽核规则对所述数据关联图谱进行数据检查,得到数据检查结果的步骤,具体包括:
29、获取稽核规则提取标识,根据所述稽核规则提取标识在数据库中提取所述数据稽核规则;
30、对所述数据稽核规则进行解析,得到数据完整性规则、一致性规则、有效性规则;
31、根据所述数据完整性规则、所述一致性规则、所述有效性规则对所述数据关联图谱进行数据检查,得到所述数据检查结果。
32、进一步的,所述将所述数据检查结果转换成数据检查报告的步骤,具体包括:
33、根据预训练的特征识别模型对所述数据检查结果进行特征提取,得到异常数据特征和关键信息特征;
34、基于自然语言处理技术对所述异常数据特征和所述关键信息特征进行语义理解和信息提取,得到数据合规性指标、数据完整性指标、数据一致性指标;
35、将所述数据合规性指标、所述数据完整性指标、所述数据一致性指标输入至预训练的文本生成模型,得到所述数据检查报告。
36、进一步的,在所述根据预训练的特征识别模型对所述数据检查结果进行特征提取,得到异常数据特征和关键信息特征的步骤之前,还包括以下步骤:
37、获取样本检查结果数据集,并对所述样本检查结果数据集进行解析,得到数据记录属性值;
38、根据所述数据记录属性值对所述样本检查结果数据集进行数据清洗和特征选择,得到标准结果数据集;
39、对所述标准结果数据集进行特征转换,得到结果特征数据集;
40、根据所述结果特征数据集对预设的决策树模型进行训练,得到所述特征识别模型。
41、为了解决上述技术问题,本申请实施例还提供一种数据检查装置,采用了如下所述的技术方案:
42、数据构建模块,用于获取初始异构数据,根据所述初始异构数据和预构建的图数据库模型构建图数据库实例;
43、数据处理模块,用于从所述图数据库实例中提取初始数据集,并对所述初始数据集进行隐私加密处理,得到隐私化数据集;
44、数据分析模块,用于对所述隐私化数据集进行解密分析,得到数据关联图谱;
45、数据检查模块,用于获取预设的数据稽核规则,根据所述数据稽核规则对所述数据关联图谱进行数据检查,得到数据检查结果;
46、报告显示模块,用于将所述数据检查结果转换成数据检查报告,并将所述数据检查报告发送至显示界面进行显示。
47、为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
48、一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如以上任一项所述的数据检查方法的步骤。
4本文档来自技高网...
【技术保护点】
1.一种数据检查方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的数据检查方法,其特征在于,所述获取初始异构数据,根据所述初始异构数据和预构建的图数据库模型构建图数据库实例的步骤,具体包括:
3.根据权利要求1所述的数据检查方法,其特征在于,所述从所述图数据库实例中提取初始数据集,并对所述初始数据集进行隐私加密处理,得到隐私化数据集的步骤,具体包括:
4.根据权利要求1所述的数据检查方法,其特征在于,所述对所述隐私化数据集进行解密分析,得到数据关联图谱的步骤,具体包括:
5.根据权利要求1所述的数据检查方法,其特征在于,所述获取预设的数据稽核规则,根据所述数据稽核规则对所述数据关联图谱进行数据检查,得到数据检查结果的步骤,具体包括:
6.根据权利要求1所述的数据检查方法,其特征在于,所述将所述数据检查结果转换成数据检查报告的步骤,具体包括:
7.根据权利要求6所述的数据检查方法,其特征在于,在所述根据预训练的特征识别模型对所述数据检查结果进行特征提取,得到异常数据特征和关键信息特征的步骤之前,还包括以
8.一种数据检查装置,其特征在于,包括:
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据检查方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据检查方法的步骤。
...【技术特征摘要】
1.一种数据检查方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的数据检查方法,其特征在于,所述获取初始异构数据,根据所述初始异构数据和预构建的图数据库模型构建图数据库实例的步骤,具体包括:
3.根据权利要求1所述的数据检查方法,其特征在于,所述从所述图数据库实例中提取初始数据集,并对所述初始数据集进行隐私加密处理,得到隐私化数据集的步骤,具体包括:
4.根据权利要求1所述的数据检查方法,其特征在于,所述对所述隐私化数据集进行解密分析,得到数据关联图谱的步骤,具体包括:
5.根据权利要求1所述的数据检查方法,其特征在于,所述获取预设的数据稽核规则,根据所述数据稽核规则对所述数据关联图谱进行数据检查,得到数据检查结果的步骤,具体包括:
6.根...
【专利技术属性】
技术研发人员:沈琦,邓小龙,陈伟,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。