一种基于Doris构建用户分群规则引擎的方法技术

本发明专利技术公开了一种基于Doris构建用户分群规则引擎的方法，包括：S1：抽取用户基础数据和业务数据，按照需要的分群维度，以用户唯一ID为单位存储用户标签表；S2：根据分群维度和行为数据构建筛选项，并配置对应的枚举数据；S3：根据筛选项，判断对应的基础数据类型，配置对应的逻辑操作，并结合Doris内置函数做出映射关系；S4：配置规则关系，根据需求制定分群规则；S5将建立的分群规则转化为SQL；S6：基于分群规则转化得到的SQL，查询满足规则的人群，并将满足规则的人群存储在Bitmap类型的字段中。本发明专利技术组件上采用Doris的Bitmap结构来存储计算分群结果，解决分群规则引擎成本高，效率低的问题。的问题。的问题。

【技术实现步骤摘要】
一种基于Doris构建用户分群规则引擎的方法


[0001]本专利技术涉及数据处理
，特别涉及一种基于Doris构建用户分群规则引擎的方法。

技术介绍

[0002]随着大数据的逐渐普及以及在互联网等领域的广泛使用，用户分群被广泛应用于各大平台，能够为用户精准推荐意向商品。但目前存在分群结果解析引擎所需要的组件太过沉重，尤其是在数据量大的情况下，该种情况更为明显。
[0003]在现在的技术下，需要有成套的大数据组件以及专业大数据开发来人员来支持用户各种基础数据和行为数据的规则计算，来精准捕获用户意向。而组件的搭建、采购、专业人员的雇佣导致需要的成本过高，效率过低，在当前大环境下，不能满足降本增效的目的需求。

技术实现思路

[0004]为解决上述问题，本专利技术提供了一种基于Doris构建用户分群规则引擎的方法，组件上采用Doris的Bitmap结构来存储计算分群结果，使得企业在降本增效的前提下，能够更加精准的捕获人群，同时解决分群规则引擎成本高，效率低的问题。
[0005]本专利技术提供了一种基于Doris构建用户分群规则引擎的方法，具体技术方案如下：
[0006]S1：抽取用户基础数据和业务数据，按照需要的分群维度，以用户唯一ID为单位存储用户标签表；
[0007]S2：根据分群维度和行为数据来构建筛选项，根据已有筛选项，配置对应的枚举数据；
[0008]S3：根据所述筛选项，判断对应的基础数据类型，根据对应基础数据类型配置对应的逻辑操作，并根据逻辑操作，结合Doris内置函数，做出映射关系；
[0009]S4：配置规则关系，根据需求制定分群规则；
[0010]S5将建立的所述分群规则转化为SQL；
[0011]S6：通过调用基于所述分群规则转化得到的SQL，查询满足规则的人群，并将满足规则的人群存储在Bitmap类型的字段中，建立存储数据表。
[0012]进一步的，步骤S1中，所述用户标签表，包括三个字段，分别为：标签唯一标识、标签值以及用户唯一ID。
[0013]进一步的，步骤S2中，根据分群维度构建筛选项，并配置对应的枚举数据，具体如下：
[0014]将所述标签唯一标识作为筛选项；
[0015]对所述标签唯一标识配置其对应的枚举值。
[0016]进一步的，所述标签唯一标识对应至少一个枚举值。
[0017]进一步的，步骤S2中，根据行为数据来构建筛选项，并配置对应的枚举数据，具体
如下：
[0018]构建行为数据表，所述行为数据表包括两个字段，分别为行为名称和行为唯一标识；
[0019]将所述行为唯一标识作为筛选项；
[0020]对所述行为唯一标识配置其对应的枚举值。
[0021]进一步的，所述行为唯一标识对应至少一个枚举类型，所述枚举类型至少对应一个枚举值。
[0022]进一步的，所述用户标签表和所述行为数据表均基于Doris构建存储。
[0023]进一步的，所述映射关系表包括四个字段，分别为：数据类型、操作符、关键字以及映射关系。
[0024]进一步的，步骤S5，具体过程如下：
[0025]S501：创建分群任务，选取筛选项、对应的枚举值、对应的逻辑操作以及规则关系，组合成一条长JSON；
[0026]S502：根据长JSON中，将上述配置的筛选项、对应的枚举值、对应的逻辑操作关系以及规则关系解析为一条SQL，最终得到的所有规则对应的SQL。
[0027]进一步的，所述存储数据表包括三个字段，分别为：分群唯一ID、分群名称以及分群结果，所述分群结果对应的值为用户唯一ID。
[0028]本专利技术的有益效果如下：
[0029]本专利技术使用Doris来存储数据，不需要引入沉重的大数据组件，开发人员可根据合适的语言去处理数据进行存储，以及结合Doris内置功能去解析构建规则引擎，灵活性高，降低了构建成本、开发人员的学习成本，同时通过配置规则关系，实现自由组合的分群规则能够大大提高精准度，最后将对应人群采用聚合方式存储起来，资源占用更小，维度更加方便，实现了降本增效。
附图说明
[0030]图1是本专利技术的方法流程示意图。
具体实施方式
[0031]在下面的描述中对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0032]在本专利技术实施例的描述中，需要说明的是，指示方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0033]在本专利技术实施例的描述中，还需要说明的是，除非另有明确的规定和限定，术语
“
设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接连接，也可以通过中间媒介间接连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。
[0034]实施例1
[0035]本专利技术的实施例1公开了一种基于Doris构建用户分群规则引擎的方法，如图1所示，具体步骤流程如下：
[0036]抽取用户基础数据和业务数据，按照需要的分群维度，以用户唯一ID为单位存储用户标签表；
[0037]本实施例中，所述用户标签表为Doris普通表，所述用户标签表中存储有三个字段，分别为：标签唯一标识(标签名)、标签值以及用户唯一ID；
[0038]所述用户标签表(tdm_user_tag)，本实施例中，以标签唯一标识(tag_type)为gender(性别)和city(城市)为例进行说明，结构具体如下表1所示：
[0039]表1：用户标签表
[0040][0041]根据分群维度和行为数据来构建筛选项，根据已有筛选项，配置对应的枚举数据；
[0042]根据分群维度构建筛选项，并配置对应的枚举数据，具体如下：
[0043]将所述标签唯一标识作为筛选项；
[0044]对所述标签唯一标识配置其对应的枚举值。
[0045]本实施例中，所述标签唯一标识对应至少一个枚举值。
[0046]如下表2所示：
[0047]表2：基于标签唯一标识存储好的标签枚举值表
[0048]标签唯一标识枚举值gender男gender女city成都市city西安市
[0049]本实施例中，对标签唯一标识gender，设置枚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Doris构建用户分群规则引擎的方法，其特征在于，包括：S1：抽取用户基础数据和业务数据，按照需要的分群维度，以用户唯一ID为单位存储用户标签表；S2：根据分群维度和行为数据来构建筛选项，根据已有筛选项，配置对应的枚举数据；S3：根据所述筛选项，判断对应的基础数据类型，根据对应基础数据类型配置对应的逻辑操作，并根据逻辑操作，结合Doris内置函数，做出映射关系，构建映射关系表；S4：配置规则关系，根据需求制定分群规则；S5将建立的所述分群规则转化为SQL；S6：通过调用基于所述分群规则转化得到的SQL，查询满足规则的人群，并将满足规则的人群存储在Bitmap类型的字段中，建立存储数据表。2.根据权利要求1所述的基于Doris构建用户分群规则引擎的方法，其特征在于，步骤S1中，所述用户标签表，包括三个字段，分别为：标签唯一标识、标签值以及用户唯一ID。3.根据权利要求2所述的基于Doris构建用户分群规则引擎的方法，其特征在于，步骤S2中，根据分群维度构建筛选项，并配置对应的枚举数据，具体如下：将所述标签唯一标识作为筛选项；对所述标签唯一标识配置其对应的枚举值。4.根据权利要求3所述的基于Doris构建用户分群规则引擎的方法，其特征在于，所述标签唯一标识对应至少一个枚举值。5.根据权利要求1
‑
4任一所述的基于Doris构建用户分群规则引擎的方法...

【专利技术属性】
技术研发人员：王博，米华军，
申请(专利权)人：成都旺小宝科技有限公司，
类型：发明
国别省市：