【技术实现步骤摘要】
本专利技术涉及大数据处理，特别涉及一种积木式大数据平台的数据处理及分析方法。
技术介绍
1、随着大数据量的不断增加，传统的数据处理和分析方法已经不能满足对实时性、个性化和智能化的需求。传统的大数据处理和分析方法存在着一些问题，例如无法满足实时性要求、缺乏个性化分析能力、处理流程缺乏智能优化和动态调整能力等。因此，需要研究一种新的积木式的数据处理及分析方法，以满足不断变化的用户需求，提高数据处理和分析的效率和质量。
2、因此，本专利技术提供了一种积木式大数据平台的数据处理及分析方法。
技术实现思路
1、本专利技术提供一种积木式大数据平台的数据处理及分析方法，通过在客户端实时采集用户需求和信息数据，实现了对数据处理和分析的实时性，对用户需求进行分析，得到每个用户的第一指令及指令截止时间，从而实现了对用户行为的个性化分析，根据指令级别系数和调用顺序生成调用流程，实现了对数据处理流程的智能优化，提高了数据处理和分析的效率，通过对下一时间段的指令数据对生成的调用流程进行动态更新，实现了对数据处理流程的动态调整。适应了动态变化的数据处理需求，提高了系统的稳定性和灵活性。
2、本专利技术提供一种积木式大数据平台的数据处理及分析方法，包括：
3、步骤1：在客户端埋点实时采集多个预设时间段内的用户需求以及用户信息数据；
4、步骤2：对每个预设时间段内的用户需求进行分析得到对应预设时间段内的多个用户的第一指令以及指令截止时间，并基于对应预设时间段内的用户
5、步骤3：基于预设指令-模块-类型库确定每个第二指令所在的业务模块以及指令类型，并根据所述指令类型确定所述第二指令在业务模块中的调用顺序，并基于子级别系数以及调用顺序，生成调用流程；
6、步骤4：基于对应第二指令所在预设时间段的下一时间段的指令数据对生成的调用流程进行动态更新。
7、优选的，在客户端埋点实时采集多个预设时间段内的用户需求以及用户信息数据，包括：
8、在客户端的程序界面以及用户界面进行埋点，并捕捉用户在程序界面进行点击的第一埋点路径以及在用户界面进行点击的第二埋点路径；
9、将所述第一埋点路径以及第二埋点路径分别发送至服务器进行综合分析，获取得到用户需求以及用户信息数据。
10、优选的，捕捉用户在程序界面进行点击的第一埋点路径，包括：
11、当用户点击程序界面时，以点击位置为中心拉取点击时刻下与中心对应区域的埋点标签；
12、基于埋点标签的埋点状态，获取对应索引路径；
13、基于所有索引路径确定第一埋点路径。
14、优选的，捕捉用户在用户界面进行点击的第二埋点路径，包括：
15、获取所述用户在用户节点进行点击位置的点击范围内的静态埋点和动态埋点；
16、获取所述动态埋点对应的动态标识，并根据所述动态标识获取对应的第一待定路径，同时，获取静态埋点对应的静态标识，并根据所述静态标识获取对应的第二待定路径；
17、基于所述第一待定路径以及第二待定路径，构建得到第二埋点路径。
18、优选的，生成至少一个第二指令及每个第二指令的子级别系数，包括：
19、提取每个预设时间段内的用户需求的多个需求特征，并再次提取需求特征的特征关键词在第一预设词-指令库中进行映射得到第一指令，且基于第一预设指令信息库获取第一指令对应的指令截止时间；
20、提取对应预设时间段内的用户信息数据中的用户关键词，并基于用户关键词在第二预设词-指令库中进行映射得到扩展指令，并基于扩展指令对所述第一指令进行扩展得到第二指令；
21、基于第二预设指令信息库确定第二指令所属的子单位权重，并基于子单位权重及第一指令截止时间进行计算得到第二指令的子级别系数。
22、优选的，基于子单位权重及第一指令截止时间进行计算得到第二指令的子级别系数，包括：
23、；
24、其中，为第个第二指令的子级别系数，为第个第二指令的子单位权重，为第个第二指令所对应第一指令的截止时间下的单次运行时长,为第个第二指令的子复杂度,为第个第二指令的子紧急程度，为第个第二指令的子调节系数,且，为第二指令的个数。
25、优选的，基于子级别系数以及调用顺序，生成调用流程包括：
26、基于所述指令类型确定每个第二指令在业务模块中的关系状态，其中，所述关系状态包括：依赖关系与非依赖关系；
27、对有依赖关系的第二指令且结合有依赖关系的第二指令的子级别系数建立指令依赖树，并基于指令依赖树中每个第二指令的指令依赖值确定指令依赖树中每个第二指令的第一调用顺序；
28、基于非依赖关系的第二指令的子级别系数确定非依赖关系的第二指令的指令独立值，生成第二调用顺序；
29、基于所有第二指令的指令优先级对第一调用顺序和第二调用顺序进行调整，生成综合调用顺序；
30、将所有第二指令按照综合调用顺序进行组织，生成调用流程。
31、优选的，基于对应第二指令所在预设时间段的下一时间段的指令数据对生成的调用流程进行动态更新，包括：
32、根据每个第二指令所在预设时间段的用户需求数据，计算对应第二指令的有效执行概率：
33、；
34、其中，为第个第二指令的有效执行概率，为基于用户需求数据确定的预设时间段内第个第二指令的被执行概率，且为，为预设时间段内所有第二指令的总执行次数，为第个第二指令的预设执行间隔时间，为第个第二指令的平均执行时间，为第个第二指令在历史过程下的所有两次相邻执行之间的平均时间间隔；为基于用户需求数据确定的预设时间段内第个第二指令的执行次数；为取整符号；
35、基于对应第二指令的有效执行概率，计算对应第二指令的第一子贡献度：
36、；
37、其中，为第个第二指令的第一子贡献度，为第个第二指令的执行调节因子；
38、基于对应第二指令所在预设时间段的下一时间段的用户数据，获取得到第三指令，并将对应第二指令及获取到的第三指令进行匹配，获取重复次数，并计算对应第二指令的第二子贡献度：
39、；
40、其中，表示重复次数，表示与重复次数匹配的重复权重，为第个第二指令的第二子贡献度；
41、将同样的所有第二指令的第一子贡献度与第二子贡献度进行计算，得到对应第二指令的综合贡献度，并对所有综合贡献度进行排序筛选获取筛选指令集；基于所述筛选指令集对生成的调用流程进行动态更新。
42、与现有技术相比，本申请的有益效果如下：
43、通过在客户端实时采集用户需求和信息数据，实现了对数据处理和分析的实时性，对用户需求进行分析，得到每个用户的第一指令及指令截止时间，从而实现了对用户行为的个性化分析，基于用户需本文档来自技高网...
【技术保护点】
1.一种积木式大数据平台的数据处理及分析方法，其特征在于，包括：
2.根据权利要求1所述的一种积木式大数据平台的数据处理及分析方法，其特征在于，在客户端埋点实时采集多个预设时间段内的用户需求以及用户信息数据，包括：
3.根据权利要求2所述的一种积木式大数据平台的数据处理及分析方法，其特征在于，捕捉用户在程序界面进行点击的第一埋点路径，包括：
4.根据权利要求3所述的一种积木式大数据平台的数据处理及分析方法，其特征在于，捕捉用户在用户界面进行点击的第二埋点路径，包括：
5.根据权利要求1所述的一种积木式大数据平台的数据处理及分析方法，其特征在于，生成至少一个第二指令及每个第二指令的子级别系数，包括：
6.根据权利要求5所述的一种积木式大数据平台的数据处理及分析方法，其特征在于，基于子单位权重及第一指令截止时间进行计算得到第二指令的子级别系数，包括：
7.根据权利要求1所述的一种积木式大数据平台的数据处理及分析方法，其特征在于，基于子级别系数以及调用顺序，生成调用流程包括：
8.根据权利要求1所述的一
...【技术特征摘要】
1.一种积木式大数据平台的数据处理及分析方法，其特征在于，包括：
2.根据权利要求1所述的一种积木式大数据平台的数据处理及分析方法，其特征在于，在客户端埋点实时采集多个预设时间段内的用户需求以及用户信息数据，包括：
3.根据权利要求2所述的一种积木式大数据平台的数据处理及分析方法，其特征在于，捕捉用户在程序界面进行点击的第一埋点路径，包括：
4.根据权利要求3所述的一种积木式大数据平台的数据处理及分析方法，其特征在于，捕捉用户在用户界面进行点击的第二埋点路径，包括：
5.根据权利要求1所述的一种积木式大数据平台的数...
【专利技术属性】
技术研发人员：迟雪，禚浩，祁纲，邱张华，郭永法，王佳慧，马春雨，于林平，夏玮，张庆月，
申请(专利权)人：太极计算机股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。