System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本说明书一个或多个实施例涉及数据分析,尤其涉及一种基于目标分析模型进行数据查询的方法及装置。
技术介绍
1、随着大数据时代的到来,数据分析技术被广泛用于对海量业务数据的统计、监测等方面,以充分挖掘数据价值、发挥数据效能。
2、在日常对业务数据的分析中,用户对数据的查询通常是在分析模型的基础上提出,分析模型是对包含有海量业务数据的数据表进行研究,挖掘并建立各个数据表之间的表关联关系,建模得到的。用户的查询请求中可以包含维度、筛选以及度量,系统据此自动确定一条查询路径,可以包含所有的指定维度,来筛选指定度量,以该查询路径为基础生成查询脚本,并在分析模型上运行,向用户反馈查询请求对应的查询结果,完成当次数据分析。
3、然而,在具有复杂、繁多的表关联关系的分析模型上,系统通常无法仅仅依靠查询请求中给出的有限的数据字段来自动确定查询路径,尤其是在遇到存在多条歧义查询路径的环路表关联关系的情况下,往往需要专业的数据分析师的人工介入,才能完成对查询路径的确定。但这样势必导致数据分析的时效低,数据分析的结果存在严重的滞后性。
4、因此,希望能有一种技术方案,可以高效地在分析模型上处理查询请求,自动确定查询路径,快速、准确地满足用户的数据查询需求。
技术实现思路
1、本说明书的一个或多个实施例描述了一种基于目标分析模型进行数据查询的方法及装置,通过对查询请求中的各个数据字段的分析,根据寻路规则,在分析模型上实现对查询路径的自动寻路,在存在多条歧义查询路径的情况下,
2、根据第一方面,提供了一种基于目标分析模型进行数据查询的方法,所述目标分析模型针对包含多个数据表的数据集而构建,其中,各数据表具有标记的表类别,所述表类别包括,共享维度表、非共享维度表和事实表;所述目标分析模型还包括,在所述多个数据表之间建立的关联边;所述方法包括:
3、接收用户的查询请求,其中包括表示查询需求的若干数据字段;
4、在所述目标分析模型中,根据所述若干数据字段,确定出多个备选表及其间的多个关联边,所述多个关联边形成若干环路;
5、基于所述多个关联边,根据预设的寻路规则,确定所述查询请求对应的目标查询路径,其中,所述寻路规则根据所述表类别而确定。
6、根据一种实施方式,所述若干数据字段包括,至少一个维度字段,以及查询的度量字段;所述寻路规则包括第一规则,所述确定所述查询请求对应的目标查询路径,包括:
7、根据所述第一规则,若从所述至少一个维度字段对应的至少一个备选表,到所述度量对应的备选表之间存在依次直接连接的关联边,将该依次直接连接的关联边形成的路径确定为所述目标查询路径。
8、根据一种实施方式,所述查询请求包括,第一维度字段和度量字段,所述多个备选表包括记录有所述第一维度字段的第一事实表,以及记录有所述度量字段的第二事实表,所述第一事实表和第二事实表共同关联至目标共享维度表;所述寻路规则包括第二规则;所述确定所述查询请求对应的目标查询路径,包括:
9、根据所述第二规则,若所述第一事实表和第二事实表之间具有关联边,则将该条关联边归入所述目标查询路径。
10、根据以上实施方式的一种实现,若所述第一事实表和第二事实表之间不具有关联边,则向所述目标分析模型的运维后台发出提醒,使其添加所述关联边。
11、根据一种实施方式,所述若干数据字段包括,第一维度字段和度量字段,所述多个备选表包括记录有所述第一维度字段的第一共享维度表,以及记录有所述度量字段的第二事实表;所述寻路规则包括第三规则;所述确定所述查询请求对应的目标查询路径,包括:
12、根据所述第三规则,将所述第一共享维度表与第二事实表之间的直接关联边,归入所述目标查询路径。
13、根据一种实施方式,所述查询请求涉及,用第一数据字段筛选第二数据字段的结果,所述多个备选表包括记录有所述第一数据字段的第一事实表,以及记录有所述第二数据字段的第二事实表,所述第一事实表和第二事实表共同关联至若干其他事实表;所述寻路规则包括第四规则;所述确定所述查询请求对应的目标查询路径,包括:
14、根据所述第四规则,将所述第一事实表和第二事实表之间的直接关联边,归入所述目标查询路径。
15、根据一种实施方式,所述若干数据字段包括,第一维度字段和度量字段,所述多个备选表包括记录有所述第一维度字段的第一非共享维度表,以及记录有所述度量字段的第二事实表;所述寻路规则包括第五规则;所述确定所述查询请求对应的目标查询路径,包括:
16、根据所述第五规则,将所述第一非共享维度表与第二事实表之间的直接关联边,归入所述目标查询路径。
17、根据一种实施方式,所述方法还包括:
18、根据所述目标查询路径,构建数据查询脚本;
19、执行所述数据查询脚本,得到与所述查询请求对应的查询结果。
20、根据一种实施方式,所述根据所述若干数据字段,确定出多个备选表,包括:
21、基于匹配策略,确定数据字段所属的备选表;
22、若数据字段为维度字段,基于所述匹配策略,维度表的匹配优先级高于事实表;
23、若数据字段为度量字段,基于所述匹配策略,事实表的匹配优先级高于维度表。
24、根据一种实施方式,所述标记的表类别是根据打标规则预先在所述各数据表上打标生成的,所述打标规则包括:
25、若目标数据表为维度表,且与多个其他数据表具有关联,将所述目标数据表打标为共享维度表;
26、若目标数据表为维度表,且与至多一个其他数据表具有关联,将所述目标数据表打标为非共享维度表。
27、根据第二方面,提供了一种基于目标分析模型进行数据查询的装置,所述目标分析模型针对包含多个数据表的数据集而构建,其中,各数据表具有标记的表类别,所述表类别包括,共享维度表、非共享维度表和事实表;所述目标分析模型还包括,在所述多个数据表之间建立的关联边;所述装置包括:
28、接收单元,配置为接收用户的查询请求,其中包括表示查询需求的若干数据字段。
29、确定单元,配置为在所述目标分析模型中,根据所述若干数据字段,确定出多个备选表及其间的多个关联边,所述多个关联边形成若干环路。
30、寻路单元,配置为基于所述多个关联边,根据预设的寻路规则,确定所述查询请求对应的目标查询路径,其中,所述寻路规则根据所述表类别而确定。
31、根据第三方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现第一方面所述方法的步骤。
32、根据第四方面,提供了一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面所述的方法。
33本文档来自技高网...
【技术保护点】
1.一种基于目标分析模型进行数据查询的方法,所述目标分析模型针对包含多个数据表的数据集而构建,其中,各数据表具有标记的表类别,所述表类别包括,共享维度表、非共享维度表和事实表;所述目标分析模型还包括,在所述多个数据表之间建立的关联边;所述方法包括:
2.根据权利要求1所述的方法,其中,所述若干数据字段包括,至少一个维度字段,以及查询的度量字段;所述寻路规则包括第一规则,所述确定所述查询请求对应的目标查询路径,包括:
3.根据权利要求1所述的方法,其中,所述查询请求包括,第一维度字段和度量字段,所述多个备选表包括记录有所述第一维度字段的第一事实表,以及记录有所述度量字段的第二事实表,所述第一事实表和第二事实表共同关联至目标共享维度表;所述寻路规则包括第二规则;所述确定所述查询请求对应的目标查询路径,包括:
4.根据权利要求3所述的方法,还包括,若所述第一事实表和第二事实表之间不具有关联边,则向所述目标分析模型的运维后台发出提醒,使其添加所述关联边。
5.根据权利要求1所述的方法,其中,所述若干数据字段包括,第一维度字段和度量字段,所述
6.根据权利要求1所述的方法,其中,所述查询请求涉及,用第一数据字段筛选第二数据字段的结果,所述多个备选表包括记录有所述第一数据字段的第一事实表,以及记录有所述第二数据字段的第二事实表,所述第一事实表和第二事实表共同关联至若干其他事实表;所述寻路规则包括第四规则;所述确定所述查询请求对应的目标查询路径,包括:
7.根据权利要求1所述的方法,其中,所述若干数据字段包括,第一维度字段和度量字段,所述多个备选表包括记录有所述第一维度字段的第一非共享维度表,以及记录有所述度量字段的第二事实表;所述寻路规则包括第五规则;所述确定所述查询请求对应的目标查询路径,包括:
8.根据权利要求1所述的方法,还包括:
9.根据权利要求1所述的方法,其中,所述根据所述若干数据字段,确定出多个备选表,包括:
10.根据权利要求1所述的方法,其中,所述标记的表类别是根据打标规则预先在所述各数据表上打标生成的,所述打标规则包括:
11.一种基于目标分析模型进行数据查询的装置,所述目标分析模型针对包含多个数据表的数据集而构建,其中,各数据表具有标记的表类别,所述表类别包括,共享维度表、非共享维度表和事实表;所述目标分析模型还包括,在所述多个数据表之间建立的关联边;所述装置包括:
12.一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1-10任一项所述方法的步骤。
13.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-10中任一项所述的方法。
...【技术特征摘要】
1.一种基于目标分析模型进行数据查询的方法,所述目标分析模型针对包含多个数据表的数据集而构建,其中,各数据表具有标记的表类别,所述表类别包括,共享维度表、非共享维度表和事实表;所述目标分析模型还包括,在所述多个数据表之间建立的关联边;所述方法包括:
2.根据权利要求1所述的方法,其中,所述若干数据字段包括,至少一个维度字段,以及查询的度量字段;所述寻路规则包括第一规则,所述确定所述查询请求对应的目标查询路径,包括:
3.根据权利要求1所述的方法,其中,所述查询请求包括,第一维度字段和度量字段,所述多个备选表包括记录有所述第一维度字段的第一事实表,以及记录有所述度量字段的第二事实表,所述第一事实表和第二事实表共同关联至目标共享维度表;所述寻路规则包括第二规则;所述确定所述查询请求对应的目标查询路径,包括:
4.根据权利要求3所述的方法,还包括,若所述第一事实表和第二事实表之间不具有关联边,则向所述目标分析模型的运维后台发出提醒,使其添加所述关联边。
5.根据权利要求1所述的方法,其中,所述若干数据字段包括,第一维度字段和度量字段,所述多个备选表包括记录有所述第一维度字段的第一共享维度表,以及记录有所述度量字段的第二事实表;所述寻路规则包括第三规则;所述确定所述查询请求对应的目标查询路径,包括:
6.根据权利要求1所述的方法,其中,所述查询请求涉及,用第一数据字段筛选第二数据字段的结果,所述多个备选表包括记录有所述第一数据...
【专利技术属性】
技术研发人员:武云峰,汤勇,吴仁斌,俞沛辰,余志鹏,刘海波,
申请(专利权)人:支付宝杭州信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。