【技术实现步骤摘要】
本申请涉及互联网领域，尤其涉及一种基于web的大数据分析方法及相关设备。
技术介绍
1、在当前的信息化和数字化时代，企业和组织越来越依赖于大数据分析来支持决策和业务优化。为了实现高效的大数据分析，基于微服务架构的系统被广泛采用。这些系统通常由多个独立的模块组成，每个模块负责处理不同的数据集或功能。然而，由于各模块的数据存储和管理是独立的，导致数据的共享和整合变得困难，进一步的导致在大数据分析过程中无法对各模块的数据进行全面分析，有的大数据分析系统通常采用集中式的任务调度机制，任务划分和分配过程缺乏灵活性和智能化。在多模块的情况下，集中式调度难以高效处理复杂的数据分析任务。
技术实现思路
1、本申请提供了一种基于web的大数据分析方法及相关设备，用于解决相关技术中集中式调度难以高效处理复杂的数据分析任务的问题。
2、本申请第一方面提供了一种基于web的大数据分析方法，所述基于web的大数据分析方法包括：
3、将子系统的微服务前端组件集成至低代码平台；
4、根据子系统加载器将所述子系统的共享数据在所述低代码平台中进行整合；
5、根据预设清洗规则对所述共享数据进行预处理；
6、当接收到用户的数据分析请求时，根据预处理后的目标共享数据将所述数据分析请求对应的数据分析任务划分为n个子任务；其中，n为大于或等于2的整数；
7、将所述n个子任务分别分配至对应所述子系统中进行数据分析。
8、可选的，在本申请第一方面
9、在所述低代码平台中生成沙箱；其中，所述沙箱为一个独立的虚拟环境；
10、根据全局管理器对所述子系统的微服务前端组件生成环境标识符；
11、将所述微服务前端组件与对应所述环境标识符分配至所述沙箱。
12、可选的，在本申请第一方面的第二种实现方式中，所述将所述微服务前端组件与对应所述环境标识符分配至所述沙箱的步骤之后，还包括：
13、根据所述数据分析请求确定目标子系统；
14、获取所述目标子系统对应的目标环境标识符；
15、根据所述目标环境标识创建窗口容器；
16、将所述目标子系统的微服务前端组件加载至所述窗口容器。
17、可选的，在本申请第一方面的第三种实现方式中，所述将子系统的微服务前端组件集成至低代码平台的步骤之后，还包括：
18、根据预设配置文件向所述微服务前端组件发送数据共享所需的初始数据；
19、当检测到用户的数据查询指令时，根据事件总线将所述数据查询指令发送至所述微服务前端组件；
20、接收所述微服务前端组件基于所述初始数据以及所述数据查询指令发送的所述共享数据。
21、可选的，在本申请第一方面的第四种实现方式中，所述方法还包括：
22、根据所述数据查询指令确定用户需要查询的目标子系统窗口；
23、根据所述目标子系统以及用户历史查询记录预测待访问子系统窗口；
24、根据所述待访问子系统窗口的预测结果加载对应访问子系统的共享数据。
25、可选的，在本申请第一方面的第五种实现方式中，所述当接收到用户的数据分析请求时，根据预处理后的目标共享数据将所述数据分析请求对应的数据分析任务划分为n个子任务的步骤，包括：
26、根据所述数据分析请求确定所述数据分析任务的计算逻辑树；
27、确定所述目标共享数据的数据格式；
28、根据所述计算逻辑树以及所述数据格式将所述数据分析任务划分为多个子任务。
29、可选的，在本申请第一方面的第六种实现方式中，所述将所述n个子任务分别分配至对应所述子系统中进行数据分析的步骤之后，还包括：
30、实时监测所述子系统的任务执行状态；
31、当主系统检测到子任务失败或结果不完整时，触发重新调度机制；
32、根据所述重新调度机制对未完成的子任务进行重新分配。
33、本申请第二方面提供了一种基于web的大数据分析装置，所述基于web的大数据分析装置包括：
34、集成模块，用于将子系统的微服务前端组件集成至低代码平台；
35、整合模块，用于根据子系统加载器将所述子系统的共享数据在所述低代码平台中进行整合；
36、预处理模块，用于根据预设清洗规则对所述共享数据进行预处理；
37、划分模块，用于当接收到用户的数据分析请求时，根据预处理后的目标共享数据将所述数据分析请求对应的数据分析任务划分为n个子任务；其中，n为大于或等于2的整数；
38、分配模块，用于将所述n个子任务分别分配至对应所述子系统中进行数据分析。
39、本申请实施例第三方面提供了一种电子设备，包括存储器及处理器，其中，所述处理器用于执行存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，实现上述本申请实施例第一方面提供的基于web的大数据分析方法中的各步骤。
40、本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的基于web的大数据分析方法中的各步骤。
41、综上所述，根据本申请方案所提供的一种基于web的大数据分析方法及相关设备，将子系统的微服务前端组件集成至低代码平台；根据子系统加载器将所述子系统的共享数据在所述低代码平台中进行整合；根据预设清洗规则对所述共享数据进行预处理；当接收到用户的数据分析请求时，根据预处理后的目标共享数据将所述数据分析请求对应的数据分析任务划分为n个子任务；将所述n个子任务分别分配至对应所述子系统中进行数据分析。通过本申请方案的实施，在低代码平台上对子系统的共享数据进行整合并进行预处理，在执行数据分析任务时，根据预处理后的目标共享数据将数据分析任务划分为多个子任务，通过分布式的智能任务调度机制有效提高数据分析任务的处理效率。
本文档来自技高网...【技术保护点】
1.一种基于web的大数据分析方法，其特征在于，包括：
2.根据权利要求1所述的基于web的大数据分析方法，其特征在于，所述将子系统的微服务前端组件集成至低代码平台的步骤，包括：
3.根据权利要求2所述的基于web的大数据分析方法，其特征在于，所述将所述微服务前端组件与对应所述环境标识符分配至所述沙箱的步骤之后，还包括：
4.根据权利要求1所述的基于web的大数据分析方法，其特征在于，所述将子系统的微服务前端组件集成至低代码平台的步骤之后，还包括：
5.根据权利要求4所述的基于web的大数据分析方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的基于web的大数据分析方法，其特征在于，所述当接收到用户的数据分析请求时，根据预处理后的目标共享数据将所述数据分析请求对应的数据分析任务划分为N个子任务的步骤，包括：
7.根据权利要求1所述的基于web的大数据分析方法，其特征在于，所述将所述N个子任务分别分配至对应所述子系统中进行数据分析的步骤之后，还包括：
8.一种基于web的大数据分析装置，其
9.一种电子设备，其特征在于，包括存储器及处理器，其中：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述基于web的大数据分析方法中的步骤。
...【技术特征摘要】
1.一种基于web的大数据分析方法，其特征在于，包括：
2.根据权利要求1所述的基于web的大数据分析方法，其特征在于，所述将子系统的微服务前端组件集成至低代码平台的步骤，包括：
3.根据权利要求2所述的基于web的大数据分析方法，其特征在于，所述将所述微服务前端组件与对应所述环境标识符分配至所述沙箱的步骤之后，还包括：
4.根据权利要求1所述的基于web的大数据分析方法，其特征在于，所述将子系统的微服务前端组件集成至低代码平台的步骤之后，还包括：
5.根据权利要求4所述的基于web的大数据分析方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的基于web的大数据分析方...
【专利技术属性】
技术研发人员：黄颂凯，于鹏，石自军，陈兆俊，
申请(专利权)人：深圳市中政汇智管理咨询有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。