System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本说明书涉及计算机,尤其涉及一种溯源数据的评估方法、装置及设备。
技术介绍
1、在数据处理领域,由于数据体量巨大、价值信息稀疏等原因,数据处理分析流程通常较为复杂,涉及到各级原始接入、中间处理和最终输出结果。在该结果中,通常存在部分高价值、高权威性的数据,直接影响整个数据处理分析结果的可信性。因此,如何发现高价值、高权威性的数据成为数据处理分析领域面临的一重要任务。
2、现有技术中,数据血缘方法仅限于基本数据转换操作,不涉及复杂数据分析操作,溯源方式仅限于提供可视化手段辅助用户手动追溯,因此,无法根据血缘方法获取的溯源信息来评估数据生成过程中上游数据的权威性,无法发现高权威性数据和/或高权威性记录,因此,不具备对数据的权威性评估能力。
3、基于此,需要一种溯源数据的评估方法。
技术实现思路
1、本说明书实施例提供一种溯源数据的评估方法、装置及设备,用于解决以下技术问题:现有技术中,数据血缘方法仅限于基本数据转换操作,不涉及复杂数据分析操作,溯源方式仅限于提供可视化手段辅助用户手动追溯,因此,无法根据血缘方法获取的溯源信息来评估数据生成过程中上游数据的权威性,无法发现高权威性数据(记录),因此,不具备对数据的权威性评估能力。
2、为解决上述技术问题,本说明书实施例是这样实现的:
3、本说明书实施例提供一种溯源数据的评估方法,包括:
4、基于待评估数据的溯源记录信息,生成溯源邻接矩阵;
5、对所述溯源邻接矩阵进行归
6、基于所述归一化的溯源邻接矩阵,确定所述待评估数据的各个记录的权重向量,获得记录权重向量;
7、基于所述溯源邻接矩阵及所述记录权重向量,对所述待评估数据进行记录级的数据权威性评估;
8、和/或
9、基于所述待评估数据的数据体信息及所述记录权重向量,对所述待评估数据的进行数据级的数据权威性评估。
10、本说明书实施例还提供一种溯源数据的评估装置,包括:
11、溯源邻接矩阵生成模块,基于待评估数据的溯源记录信息,生成溯源邻接矩阵;
12、归一化模块,对所述溯源邻接矩阵进行归一化操作,生成归一化的溯源邻接矩阵;
13、记录权重向量生成模块,基于所述归一化的溯源邻接矩阵,确定所述待评估数据的各个记录的权重向量,获得记录权重向量;
14、评估模块,基于所述溯源邻接矩阵及所述记录权重向量,对所述待评估数据进行记录级的数据权威性评估;
15、和/或
16、基于所述待评估数据的数据体信息及所述记录权重向量,对所述待评估数据的进行数据级的数据权威性评估。
17、本说明书实施例还提供一种电子设备,包括:
18、至少一个处理器;以及,
19、与所述至少一个处理器通信连接的存储器;其中,
20、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
21、基于待评估数据的溯源记录信息,生成溯源邻接矩阵;
22、对所述溯源邻接矩阵进行归一化操作,生成归一化的溯源邻接矩阵;
23、基于所述归一化的溯源邻接矩阵,确定所述待评估数据的各个记录的权重向量,获得记录权重向量;
24、基于所述溯源邻接矩阵及所述记录权重向量,对所述待评估数据进行记录级的数据权威性评估;
25、和/或
26、基于所述待评估数据的数据体信息及所述记录权重向量,对所述待评估数据的进行数据级的数据权威性评估。
27、本说明书实施例提供的溯源数据的评估方法,基于待评估数据的溯源记录信息,生成溯源邻接矩阵;对所述溯源邻接矩阵进行归一化操作,生成归一化的溯源邻接矩阵;基于所述归一化的溯源邻接矩阵,确定所述待评估数据的各个记录的权重向量,获得记录权重向量;基于所述溯源邻接矩阵及所述记录权重向量,对所述待评估数据进行记录级的数据权威性评估;和/或基于所述待评估数据的数据体信息及所述记录权重向量,对所述待评估数据的进行数据级的数据权威性评估,无需人工参与,自动对数据的全局上游溯源关系进行统计和计算,自动产出基于排序的数据权威性评估结果,供用户参考,实现自动分析并输出权威性评估结果的目的;支持数据级和记录级两种数据权威性评估能力,前者支持文件/库表等粗粒度数据,后者支持结果记录等细粒度的细粒度数据,实现不同粒度的数据权威性评估能力,满足不同场景需求。
本文档来自技高网...【技术保护点】
1.一种溯源数据的评估方法,其特征在于,所述评估方法包括:
2.如权利要求1所述的评估方法,其特征在于,所述对所述溯源邻接矩阵进行归一化操作,生成归一化的溯源邻接矩阵,具体包括:
3.如权利要求1所述的评估方法,其特征在于,所述溯源邻接矩阵为n*n的矩阵,所述溯源邻接矩阵用于表示每个元素所表示的某个记录的直接上游的所有记录条数,所述n为所述待评估数据对应的所有记录的总数。
4.如权利要求1所述的评估方法,其特征在于,所述基于所述归一化的溯源邻接矩阵,确定所述待评估数据的各个记录的权重向量,具体包括:
5.如权利要求1所述的评估方法,其特征在于,所述基于所述溯源邻接矩阵及所述记录权重向量,对所述待评估数据进行记录级的数据权威性评估,具体包括:
6.如权利要求1所述的评估方法,其特征在于,所述基于所述待评估数据的数据体信息及所述记录权重向量,对所述待评估数据的进行数据级的数据权威性评估,具体包括:
7.如权利要求6所述的评估方法,其特征在于,所述基于所述待评估数据的数据体信息及所述记录权重向量,确定所述待评估数据
8.如权利要求6所述的评估方法,其特征在于,所述基于f1和f2确定f,形成序列S,具体包括:
9.一种数据溯源装置,其特征在于,所述数据溯源装置包括:
10.一种电子设备,包括:
...【技术特征摘要】
1.一种溯源数据的评估方法,其特征在于,所述评估方法包括:
2.如权利要求1所述的评估方法,其特征在于,所述对所述溯源邻接矩阵进行归一化操作,生成归一化的溯源邻接矩阵,具体包括:
3.如权利要求1所述的评估方法,其特征在于,所述溯源邻接矩阵为n*n的矩阵,所述溯源邻接矩阵用于表示每个元素所表示的某个记录的直接上游的所有记录条数,所述n为所述待评估数据对应的所有记录的总数。
4.如权利要求1所述的评估方法,其特征在于,所述基于所述归一化的溯源邻接矩阵,确定所述待评估数据的各个记录的权重向量,具体包括:
5.如权利要求1所述的评估方法,其特征在于,所述基于所述溯源邻接矩阵及所述...
【专利技术属性】
技术研发人员:李常宝,艾中良,刘忠麟,王书龙,顾平莉,袁媛,尹发,
申请(专利权)人:中国电子科技集团公司第十五研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。