System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据表处理系统、方法、装置、电子设备及存储介质制造方法及图纸_技高网

数据表处理系统、方法、装置、电子设备及存储介质制造方法及图纸

技术编号:42320567 阅读:9 留言:0更新日期:2024-08-14 16:01
本发明专利技术提出一种数据表处理系统、方法、装置、电子设备及存储介质,其中,系统包括:前端配置模块和后端处理模块,前端配置模块用于向用户提供多种配置操作,配置操作包括字段对齐、动作配置、关系配置、索引构建配置和数据召回配置,后端处理模块用于解析前端配置模块中用户的配置操作,并根据用户配置的各配对关系、各配对关系所指示的配对字段对应的目标动作、各目标动作之间的关系,以及标准数据表中的第二记录的索引、数据召回方式和召回策略,确定待匹配数据表中的第一记录与标准数据表中的第二记录之间的映射关系。由此,可将数据表与数据表之间的内容匹配流程统一,无需特定任务特定分析特定建模,具有一定的通用性,减少重复建模过程。

【技术实现步骤摘要】

本专利技术涉及大数据处理,尤其涉及一种数据表处理系统、方法、装置、电子设备及存储介质


技术介绍

1、数据表与数据表之间的关联关系往往是通过主外键进行关联,但是在正式的生产环境中往往很多情况会出现没有关联键的情况,从而两张表没办法合并。相关技术中,针对无法通过关联键进行数据表与数据表之间的内容匹配的情况,需要特定任务特定分析特定建模,存在重复建模过程。


技术实现思路

1、本专利技术提供一种数据表处理系统、方法、装置、电子设备及存储介质,以至少在一定程度上解决相关技术中的技术问题之一。本专利技术的技术方案如下:

2、根据本专利技术实施例的第一方面,提供一种数据表处理系统,所述系统包括前端配置模块和后端处理模块;

3、其中,所述前端配置模块,用于向用户提供多种配置操作,所述配置操作包括字段对齐、动作配置、关系配置、索引构建配置和数据召回配置,

4、所述字段对齐,用于将待匹配数据表中的第一字段与标准数据表中的第二字段进行配对,以得到至少一种配对关系,

5、所述动作配置,用于针对任一所述配对关系所指示的配对字段,配置所述配对字段对应的目标动作,其中,所述目标动作用于指示所述配对字段中所述第一字段的字段值与所述第二字段的字段值需满足的匹配规则,

6、所述关系配置,用于配置各所述目标动作之间的关系,

7、所述索引构建配置,用于对所述标准数据表中的第二记录建立索引,

8、所述数据召回配置,用于配置数据召回方式和召回策略;

9、所述后端处理模块,用于解析所述前端配置模块中所述用户的配置操作,并根据所述用户配置的各所述配对关系、各所述配对关系所指示的配对字段对应的目标动作、各所述目标动作之间的关系,以及所述标准数据表中的第二记录的索引、所述数据召回方式和所述召回策略,确定所述待匹配数据表中的第一记录与所述标准数据表中的第二记录之间的映射关系。

10、根据本专利技术实施例的第二方面,提供一种数据表处理方法,包括:

11、获取待匹配数据表中的第一字段与标准数据表中的第二字段之间的配对关系,以及所述标准数据表中的第二记录的索引、数据召回方式和召回策略;

12、针对任一所述配对关系所指示的配对字段,确定所述配对字段对应的目标动作,以及各所述目标动作之间的关系,其中,所述目标动作用于指示所述配对字段中所述第一字段的字段值与所述第二字段的字段值需满足的匹配规则;

13、根据各所述配对关系、各所述配对关系所指示的配对字段对应的目标动作、各所述目标动作之间的关系,以及所述标准数据表中的第二记录的索引、所述数据召回方式和所述召回策略,确定所述待匹配数据表中的第一记录与所述标准数据表中的第二记录之间的映射关系。

14、根据本专利技术实施例的第三方面,提供一种数据表处理装置,包括:

15、获取模块,用于获取待匹配数据表中的第一字段与标准数据表中的第二字段之间的配对关系,以及所述标准数据表中的第二记录的索引、数据召回方式和召回策略;

16、第一确定模块,用于针对任一所述配对关系所指示的配对字段,确定所述配对字段对应的目标动作,以及各所述目标动作之间的关系,其中,所述目标动作用于指示所述配对字段中所述第一字段的字段值与所述第二字段的字段值需满足的匹配规则;

17、第二确定模块,用于根据各所述配对关系、各所述配对关系所指示的配对字段对应的目标动作、各所述目标动作之间的关系,以及所述标准数据表中的第二记录的索引、所述数据召回方式和所述召回策略,确定所述待匹配数据表中的第一记录与所述标准数据表中的第二记录之间的映射关系。

18、根据本专利技术实施例的第四方面,提供一种提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如本专利技术上述实施例所述的数据表处理方法。

19、根据本专利技术实施例的第五方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如本专利技术上述实施例所述的数据表处理方法。

20、根据本专利技术实施例的第六方面,提供一种计算机程序产品,包括:计算机程序,所述计算机程序被处理器执行时实现如本专利技术上述实施例所述的数据表处理方法。

21、本专利技术的实施例提供的技术方案至少带来以下有益效果:

22、通过在前端向用户提供多种配置操作,实现在后端解析用户配置的配置操作,并根据用户配置的各配对关系、各配对关系所指示的配对字段对应的目标动作、各目标动作之间的关系,以及标准数据表中的第二记录的索引、数据召回方式和召回策略,确定待匹配数据表中的第一记录与标准数据表中的第二记录之间的映射关系。由此,可将数据表与数据表之间的内容匹配流程统一,无需特定任务特定分析特定建模,具有一定的通用性,减少重复建模过程。

23、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本专利技术。

本文档来自技高网...

【技术保护点】

1.一种数据表处理系统,其特征在于,所述系统包括前端配置模块和后端处理模块;

2.根据权利要求1所述的系统,其特征在于,所述目标动作包括等于、不等于、包含、不包含、字段量匹配和语义匹配中的至少一个;

3.根据权利要求1所述的系统,其特征在于,所述后端处理模块包括召回模块,所述召回模块用于针对所述待匹配数据表中的任一第一记录,基于所述标准数据表中的第二记录的索引,采用所述数据召回方式,按照所述召回策略从所述标准数据表中召回满足任一所述目标动作对应的初筛条件的候选第二记录,其中,任一所述目标动作对应的初筛条件基于所述第一记录和所述目标动作确定。

4.根据权利要求3所述的系统,其特征在于,所述后端处理模块还包括精排模块,所述精排模块用于解析所述前端配置模块中所述用户的配置操作,并针对所述待匹配数据表中的任一第一记录,通过所述召回模块,获取满足任一所述目标动作对应的初筛条件的候选第二记录,以基于各所述目标动作和各所述目标动作之间的关系,从各所述候选第二记录中确定与所述第一记录存在映射关系的目标第二记录。

5.根据权利要求4所述的系统,其特征在于,所述精排模块还用于针对任一所述目标动作,在满足所述目标动作对应的初筛条件的候选第二记录为多个的情况下,根据所述目标动作所指示的所述配对字段中所述第一字段的字段值与所述第二字段的字段值需满足的匹配规则,从各所述候选第二记录中确定所述目标动作对应的候选第二记录,以基于各所述目标动作之间的关系,从各所述目标动作对应的候选第二记录中确定与所述第一记录存在映射关系的目标第二记录。

6.根据权利要求1-5中任一项所述的系统,其特征在于,所述关系包括且关系和或关系,所述且关系用于指示任意两所述目标动作同时存在,所述或关系用于指示任意两所述目标动作中至少一个所述目标动作存在;

7.一种数据表处理方法,其特征在于,包括:

8.一种数据表处理装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种存储有计算机指令的计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求7所述的方法。

...

【技术特征摘要】

1.一种数据表处理系统,其特征在于,所述系统包括前端配置模块和后端处理模块;

2.根据权利要求1所述的系统,其特征在于,所述目标动作包括等于、不等于、包含、不包含、字段量匹配和语义匹配中的至少一个;

3.根据权利要求1所述的系统,其特征在于,所述后端处理模块包括召回模块,所述召回模块用于针对所述待匹配数据表中的任一第一记录,基于所述标准数据表中的第二记录的索引,采用所述数据召回方式,按照所述召回策略从所述标准数据表中召回满足任一所述目标动作对应的初筛条件的候选第二记录,其中,任一所述目标动作对应的初筛条件基于所述第一记录和所述目标动作确定。

4.根据权利要求3所述的系统,其特征在于,所述后端处理模块还包括精排模块,所述精排模块用于解析所述前端配置模块中所述用户的配置操作,并针对所述待匹配数据表中的任一第一记录,通过所述召回模块,获取满足任一所述目标动作对应的初筛条件的候选第二记录,以基于各所述目标动作和各所述目标动作之间的关系,从各所述候选第二记录中确定与所述第一记录存在映射关系的目标第...

【专利技术属性】
技术研发人员:魏良宵
申请(专利权)人:杭州数梦工场科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1