本申请涉及人工智能技术领域,揭示了一种基于人工智能的主数据匹配方法、装置、设备及存储介质,其中方法包括:将待匹配属性值集输入预设的算法分类模型中进行主数据分类,得到待匹配数据对应的各个候选主数据;将待匹配数据和每个候选主数据组成数据对,作为待评估数据对;对每个待评估数据对进行匹配概率值计算;从各个匹配概率值中查找大于预设的概率阈值的各个匹配概率值,作为候选概率值集;从候选概率值集中查找最大的匹配概率值,作为命中概率值,将命中概率值对应的候选主数据作为目标主数据;根据待匹配数据和目标主数据更新主数据对应关系表。从而实现了自动化进行主数据匹配,提高了确定的目标主数据的准确性。提高了确定的目标主数据的准确性。提高了确定的目标主数据的准确性。
【技术实现步骤摘要】
基于人工智能的主数据匹配方法、装置、设备及存储介质
[0001]本申请涉及到人工智能
,特别是涉及到一种基于人工智能的主数据匹配方法、装置、设备及存储介质。
技术介绍
[0002]在企业、政府部门等组织中,为了提升效率,针对各种项目、管理需求开发多种多样的系统,这些系统相互隔离,而且这些系统的开发时间不同,组织在不同时间对主数据的认知和规划不同,各个系统的系统间数据结构和数据值的不一致,导致各个系统的主数据难以匹配,系统之间的对接需要开发人员修改系统,增加了系统对接的成本。
技术实现思路
[0003]本申请的主要目的为提供一种基于人工智能的主数据匹配方法、装置、设备及存储介质,旨在解决各个系统的系统间数据结构和数据值的不一致,导致各个系统的主数据难以匹配的技术问题。
[0004]为了实现上述专利技术目的,本申请提出一种基于人工智能的主数据匹配方法,所述方法包括:
[0005]获取待匹配数据和所述待匹配数据对应的待匹配属性值集;
[0006]将所述待匹配属性值集输入预设的算法分类模型中进行主数据分类,得到所述待匹配数据对应的各个候选主数据;
[0007]将所述待匹配数据和每个所述候选主数据组成数据对,作为待评估数据对;
[0008]对每个所述待评估数据对进行匹配概率值计算;
[0009]从各个所述匹配概率值中查找大于预设的概率阈值的各个所述匹配概率值,作为候选概率值集;
[0010]从所述候选概率值集中查找最大的所述匹配概率值,作为命中概率值,将所述命中概率值对应的所述候选主数据作为目标主数据;
[0011]根据所述待匹配数据和所述目标主数据更新主数据对应关系表。
[0012]进一步的,所述将所述待匹配属性值集输入预设的算法分类模型中进行主数据分类,得到所述待匹配数据对应的各个候选主数据的步骤之前,还包括:
[0013]获取多个训练样本和初始分类模型,其中,所述初始分类模型是根据基于距离的分类算法得到的模型;
[0014]采用各个所述训练样本,对所述初始分类模型进行主数据分类训练;
[0015]将训练结束的所述初始分类模型作为所述算法分类模型。
[0016]进一步的,所述获取多个训练样本和初始分类模型的步骤之前,还包括:
[0017]获取标准映射集,其中,所述标准映射集表述的是标准对象和属性值集之间的映射关系;
[0018]从所述标准映射集中获取一个所述标准对象,作为第一对象;
[0019]将所述标准映射集中的与所述第一对象对应的所述属性值集,作为所述第一对象对应的所述训练样本的属性值样本集,并且将所述第一对象作为所述第一对象对应的所述训练样本的主数据标签;
[0020]根据所述标准映射集获取扩充映射集;
[0021]从所述扩充映射集中获取一个非标准对象,作为第二对象;
[0022]将所述扩充映射集中的与所述第二对象对应的所述属性值集,作为所述第二对象对应的所述训练样本的所述属性值样本集,并且将所述扩充映射集中的与所述第二对象对应的所述标准对象,作为所述第二对象对应的所述训练样本的所述主数据标签。
[0023]进一步的,所述对每个所述待评估数据对进行匹配概率值计算的步骤,包括:
[0024]将每个所述待评估数据对输入预设的概率匹配器进行表述同一对象的概率预测,得到每个所述待评估数据对对应的所述匹配概率值,其中,所述概率匹配器是基于匹配概率估计算法训练得到的模型。
[0025]进一步的,所述获取待匹配数据和所述待匹配数据对应的待匹配属性值集的步骤,包括:
[0026]从目标业务系统对应的数据源中获取数据,作为待分析数据;
[0027]采用所述目标业务系统对应的目标主数据提取配置中的每个主字段配置,从所述待分析数据中提取一个字段值,作为所述待匹配数据;
[0028]采用所述目标主数据提取配置中的与所述待匹配数据对应的属性值提取规则,从所述待分析数据中提取与所述待匹配数据对应的各个属性值,作为所述待匹配数据对应的所述待匹配属性值集。
[0029]进一步的,所述根据所述待匹配数据和所述目标主数据更新主数据对应关系表的步骤,包括:
[0030]获取所述目标主数据对应的目标数据标识、所述待匹配数据对应的待匹配数据源标识;
[0031]将所述目标主数据、所述目标数据标识、所述待匹配数据和所述待匹配数据源标识进行关联,得到待存储关联数据;
[0032]将所述待存储关联数据存储到所述主数据对应关系表中;
[0033]对所述主数据对应关系表按数据源标识进行子表划分,得到多个单数据源对应表;
[0034]将目标对应表发送给所述目标对应表对应的所述数据源标识对应的数据源,其中,所述目标对应表是任一个所述单数据源对应表。
[0035]进一步的,所述将所述目标主数据、所述目标数据标识、所述待匹配数据和所述待匹配数据源标识进行关联,得到待存储关联数据的步骤,包括:
[0036]获取所述目标主数据对应的目标使用条件,其中,所述目标使用条件包括:生命周期和使用背景;
[0037]将所述目标使用条件、所述目标主数据、所述目标数据标识、所述待匹配数据和所述待匹配数据源标识进行关联,得到所述待存储关联数据。
[0038]本申请还提出了一种基于人工智能的主数据匹配装置,所述装置包括:
[0039]数据获取模块,用于获取待匹配数据和所述待匹配数据对应的待匹配属性值集;
[0040]候选主数据确定模块,用于将所述待匹配属性值集输入预设的算法分类模型中进行主数据分类,得到所述待匹配数据对应的各个候选主数据;
[0041]待评估数据对确定模块,用于将所述待匹配数据和每个所述候选主数据组成数据对,作为待评估数据对;
[0042]匹配概率值确定模块,用于对每个所述待评估数据对进行匹配概率值计算;
[0043]候选概率值集确定模块,用于从各个所述匹配概率值中查找大于预设的概率阈值的各个所述匹配概率值,作为候选概率值集;
[0044]目标主数据确定模块,用于从所述候选概率值集中查找最大的所述匹配概率值,作为命中概率值,将所述命中概率值对应的所述候选主数据作为目标主数据;
[0045]主数据对应关系表更新模块,用于根据所述待匹配数据和所述目标主数据更新主数据对应关系表。
[0046]本申请还提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0047]本申请还提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
[0048]本申请的基于人工智能的主数据匹配方法、装置、设备及存储介质,其中方法将所述待匹配属性值集输入预设的算法分类模型中进行主数据分类,得到所述待匹配数据对应的各个候选主数据;将所述待匹本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于人工智能的主数据匹配方法,其特征在于,所述方法包括:获取待匹配数据和所述待匹配数据对应的待匹配属性值集;将所述待匹配属性值集输入预设的算法分类模型中进行主数据分类,得到所述待匹配数据对应的各个候选主数据;将所述待匹配数据和每个所述候选主数据组成数据对,作为待评估数据对;对每个所述待评估数据对进行匹配概率值计算;从各个所述匹配概率值中查找大于预设的概率阈值的各个所述匹配概率值,作为候选概率值集;从所述候选概率值集中查找最大的所述匹配概率值,作为命中概率值,将所述命中概率值对应的所述候选主数据作为目标主数据;根据所述待匹配数据和所述目标主数据更新主数据对应关系表。2.根据权利要求1所述的基于人工智能的主数据匹配方法,其特征在于,所述将所述待匹配属性值集输入预设的算法分类模型中进行主数据分类,得到所述待匹配数据对应的各个候选主数据的步骤之前,还包括:获取多个训练样本和初始分类模型,其中,所述初始分类模型是根据基于距离的分类算法得到的模型;采用各个所述训练样本,对所述初始分类模型进行主数据分类训练;将训练结束的所述初始分类模型作为所述算法分类模型。3.根据权利要求2所述的基于人工智能的主数据匹配方法,其特征在于,所述获取多个训练样本和初始分类模型的步骤之前,还包括:获取标准映射集,其中,所述标准映射集表述的是标准对象和属性值集之间的映射关系;从所述标准映射集中获取一个所述标准对象,作为第一对象;将所述标准映射集中的与所述第一对象对应的所述属性值集,作为所述第一对象对应的所述训练样本的属性值样本集,并且将所述第一对象作为所述第一对象对应的所述训练样本的主数据标签;根据所述标准映射集获取扩充映射集;从所述扩充映射集中获取一个非标准对象,作为第二对象;将所述扩充映射集中的与所述第二对象对应的所述属性值集,作为所述第二对象对应的所述训练样本的所述属性值样本集,并且将所述扩充映射集中的与所述第二对象对应的所述标准对象,作为所述第二对象对应的所述训练样本的所述主数据标签。4.根据权利要求1所述的基于人工智能的主数据匹配方法,其特征在于,所述对每个所述待评估数据对进行匹配概率值计算的步骤,包括:将每个所述待评估数据对输入预设的概率匹配器进行表述同一对象的概率预测,得到每个所述待评估数据对对应的所述匹配概率值,其中,所述概率匹配器是基于匹配概率估计算法训练得到的模型。5.根据权利要求1所述的基于人工智能的主数据匹配方法,其特征在于,所述获取待匹配数据和所述待匹配数据对应的待匹配属性值集的步骤,包括:从目标业务系统对应的数据源中获取数据,作为待分析数据;
采用所述目标业务系统对应的目标主数据提取配置中...
【专利技术属性】
技术研发人员:沈伟进,
申请(专利权)人:平安普惠企业管理有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。