System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及大数据,特别是一种基于用户位图的数据匹配方法及其装置。
技术介绍
1、在当今的商业环境中,精准营销和数据分析对于商家的成功至关重要。商家可以在dsp(demand side platform,需求方平台)利用地图功能,圈定到访过指定位置的用户,并与用户画像进行关联分析。通过这种方式,商家可以精准定位目标用户群体,进行后续的广告推送等商业分析活动,以更好地制定营销策略和优化业务决策。
2、每天的用户行为轨迹数据量巨大,超过100亿。商家在圈选用户的时间跨度可以达到180天,这意味着他们可以对用户的行为和偏好进行深入的分析和预测。同时,用户画像数据也达到了20亿,这些数据可以提供更详细的用户信息,帮助商家更好地了解用户需求和行为特征。
3、在极端情况下,可能会出现18000亿数据与20亿数据关联的情况。这种大规模的数据关联需要强大的计算能力和高效的算法支持。为了满足业务的实时性要求,秒级返回结果是必须的。这需要商家采用高性能的计算设备和先进的数据分析技术,以确保数据处理速度和准确性的同时,还能满足业务的需求,但现有的计算速度还达不到需求。
技术实现思路
1、鉴于所述问题,提出了本申请以便提供克服所述问题或者至少部分的解决所述问题的一种基于用户位图的数据匹配方法及其装置,包括:
2、一种基于用户位图的数据匹配方法,包括步骤:
3、获取目标时间段内用户的行为轨迹数据和对应的画像数据;
4、依据所述行为轨迹数据构建轨迹位图
5、依据所述画像数据构建画像位图;
6、依据所述轨迹位图和所述画像位图生成位图计算结果;
7、依据所述位图计算结果从数据库中匹配出与所述用户匹配的目标数据。
8、进一步地,所述依据所述行为轨迹数据构建轨迹位图的步骤,包括:
9、构建用于存储通用唯一标识符和全局唯一标识符的映射表;其中,所述行为轨迹数据在最初时使用通用唯一标识符标识用户;
10、依据所述映射表将所述行为轨迹数据的通用唯一标识符标识转换为全局唯一标识符标识。
11、进一步地,所述依据所述映射表将所述行为轨迹数据的通用唯一标识符标识转换为全局唯一标识符标识的步骤,包括:
12、依据所述行为轨迹数据确定行为轨迹表;
13、依据所述通用唯一标识符的时间戳对所述行为轨迹表进行分片;
14、对每个所述分片按照所述时间戳进行排序,确定所述通用唯一标识符对应的行号;
15、将所述行为轨迹表中的数据插入所述映射表中,将所述行为轨迹表的通用唯一标识符标识转换为全局唯一标识符标识。
16、进一步地,所述将所述行为轨迹表中的数据插入所述映射表中,将所述行为轨迹表的通用唯一标识符标识转换为全局唯一标识符标识的步骤,包括:
17、依据所述行号和所述映射表中的数据量生成所述全局唯一标识符。
18、进一步地,所述依据所述画像数据构建画像位图的步骤,包括:
19、对所述画像数据进行分段处理,生成目标画像分段数据;
20、依据所述目标画像分段数据确定对应分段的用户画像表;
21、依据所述用户画像表构建对应分段的所述画像位图。
22、进一步地,所述依据所述轨迹位图和所述画像位图生成位图计算结果的步骤,包括:
23、依据时间粒度对目标时间段内的所述轨迹位图进行切分,生成轨迹位图集;其中,所述时间粒度包括年、月、周和日中的一种或多种;
24、依据所述轨迹位图集和所述画像位图生成所述位图计算结果。
25、一种基于位图的业务推送装置,包括:
26、数据获取模块,用于获取目标时间段内用户的行为轨迹数据和对应的画像数据;
27、第一位图构建模块,用于依据所述行为轨迹数据构建轨迹位图;
28、第二位图构建模块,用于依据所述画像数据构建画像位图;
29、位图计算模块,用于依据所述轨迹位图和所述画像位图生成位图计算结果;
30、数据推送模块,用于依据所述位图计算结果从数据库中匹配出与所述用户匹配的目标数据。
31、进一步地,所述第一位图构建模块,包括:
32、映射表构建子模块,用于构建用于存储通用唯一标识符和全局唯一标识符的映射表;其中,所述行为轨迹数据在最初时使用通用唯一标识符标识用户;
33、映射子模块,用于依据所述映射表将所述行为轨迹数据的通用唯一标识符标识转换为全局唯一标识符标识。
34、一种设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的一种基于用户位图的数据匹配方法的步骤。
35、一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的一种基于用户位图的数据匹配方法的步骤。
36、本申请具有以下优点:
37、在本申请的实施例中,相对于现有技术中的计算量大、计算速度慢的问题,本申请提供了基于位图的将用户行为轨迹和画像的快速关联的解决方案,具体为:获取目标时间段内用户的行为轨迹数据和对应的画像数据;依据所述行为轨迹数据构建轨迹位图;依据所述画像数据构建画像位图;依据所述轨迹位图和所述画像位图生成位图计算结果;依据所述位图计算结果从数据库中匹配出与所述用户匹配的目标数据。本申请将用户的行为轨迹、画像数据使用位图的方式存储,将常规的表关联操作,转换成位图的“交”、“并”、“补”计算,使行为轨迹和画像关联耗时控制在秒级,大幅提升计算效率。
本文档来自技高网...【技术保护点】
1.一种基于用户位图的数据匹配方法,其特征在于,包括步骤:
2.根据权利要求1所述的方法,其特征在于,所述依据所述行为轨迹数据构建轨迹位图的步骤,包括:
3.根据权利要求2所述的方法,其特征在于,所述依据所述映射表将所述行为轨迹数据的通用唯一标识符标识转换为全局唯一标识符标识的步骤,包括:
4.根据权利要求3所述的方法,其特征在于,所述将所述行为轨迹表中的数据插入所述映射表中,将所述行为轨迹表的通用唯一标识符标识转换为全局唯一标识符标识的步骤,包括:
5.根据权利要求1所述的方法,其特征在于,所述依据所述画像数据构建画像位图的步骤,包括:
6.根据权利要求1所述的方法,其特征在于,所述依据所述轨迹位图和所述画像位图生成位图计算结果的步骤,包括:
7.一种基于位图的业务推送装置,其特征在于,其特征在于,包括:
8.根据权利要求7所述的装置,其特征在于,所述第一位图构建模块,包括:
9.一种设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
...【技术特征摘要】
1.一种基于用户位图的数据匹配方法,其特征在于,包括步骤:
2.根据权利要求1所述的方法,其特征在于,所述依据所述行为轨迹数据构建轨迹位图的步骤,包括:
3.根据权利要求2所述的方法,其特征在于,所述依据所述映射表将所述行为轨迹数据的通用唯一标识符标识转换为全局唯一标识符标识的步骤,包括:
4.根据权利要求3所述的方法,其特征在于,所述将所述行为轨迹表中的数据插入所述映射表中,将所述行为轨迹表的通用唯一标识符标识转换为全局唯一标识符标识的步骤,包括:
5.根据权利要求1所述的方法,其特征在于,所述依据所述画像数据构建画像位图的步骤,包括:
6.根...
【专利技术属性】
技术研发人员:肖滨,林雄辉,王凝华,臧洋洲,
申请(专利权)人:瑞石数据科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。