【技术实现步骤摘要】
本专利技术涉及数据处理，特别涉及一种基于容器技术的数据分析方法及系统。
技术介绍
1、目前，由于数据分析过程中需要采用不同的插件，因此在操作系统中通常需要加载对应的插件。而在实际应用中，同一个操作系统可能会接收到不同的数据分析请求，这些数据分析请求往往无法基于相同的插件完成数据分析工作，因此通常会在操作系统中通过用户空间(user space)来隔离不同的插件部署环境，后续在接收到数据分析请求后，便会将数据分析请求分配到对应的用户空间进行处理。
2、但用户空间对系统的消耗较大，无法实现轻量化的数据处理需求。
技术实现思路
1、本专利技术提供一种基于容器技术的数据分析方法及系统，能够减少对操作系统的资源消耗。
2、鉴于此，本专利技术一方面提供一种基于容器技术的数据分析方法，所述方法包括：
3、接收待处理的数据分析请求，并提取所述数据分析请求中的类型标识；
4、从预先按照容器进行划分的多个插件中确定出适配于所述类型标识的目标插件，并基于所述目标插件的插件标识，构建所述数据分析请求的路由信息；
5、在根据所述路由信息转发所述数据分析请求之前，在所述数据分析请求中添加与所述路由信息相匹配的路径损耗信息；
6、当携带所述路径损耗信息的数据分析请求被中转节点接收后，所述中转节点更新所述路径损耗信息，并将更新了路径损耗信息的数据分析请求转发至下一中转节点，直至所述数据分析请求被所述目标插件所在的容器接收。
7、在
8、确定所述目标插件所处的目标容器，并识别所述目标容器的容器层级；
9、构建从数据网关到所述容器层级的数据传输路径，并确定所述数据传输路径中的中间容器层级；
10、针对任一中间容器层级，在所述中间容器层级中确定中转容器，并生成以所述数据网关为起始节点，以各个中转容器为中转节点，以所述目标容器为终止节点的路由信息。
11、在一个实施方式中，在所述数据分析请求中添加与所述路由信息相匹配的路径损耗信息包括：
12、识别所述路由信息中待中转的中转容器的第一数量，并在所述第一数量的基础上增加1，以得到路径损耗值，并基于所述路径损耗值构建路径损耗信息；
13、将构建得到的路径损耗信息添加至所述数据分析请求的扩展字段中。
14、在一个实施方式中，在所述中间容器层级中确定中转容器包括：
15、在所述中间容器层级中识别当前处于运行状态的业务容器；
16、遍历所述业务容器，并将满足以下条件的业务容器选取为中转容器：
17、业务容器当前的资源利用率低于指定阈值，并且所述业务容器中部署的插件与所述目标插件具备相同的插件类型。
18、在一个实施方式中，所述中转节点更新所述路径损耗信息包括：
19、所述中转节点识别当前的路径损耗信息表征的路径损耗值，并将所述路径损耗值减1，以得到更新后的路径损耗值；
20、构建表征所述更新后的路径损耗值的路径损耗信息，并将新构建的路径损耗信息替换所述数据分析请求中携带的路径损耗信息。
21、本专利技术还提供一种基于容器技术的数据分析系统，所述系统包括：
22、请求处理单元，用于接收待处理的数据分析请求，并提取所述数据分析请求中的类型标识；
23、路由构建单元，用于从预先按照容器进行划分的多个插件中确定出适配于所述类型标识的目标插件，并基于所述目标插件的插件标识，构建所述数据分析请求的路由信息；
24、损耗信息添加单元，用于在根据所述路由信息转发所述数据分析请求之前，在所述数据分析请求中添加与所述路由信息相匹配的路径损耗信息；
25、中转单元，用于当携带所述路径损耗信息的数据分析请求被中转节点接收后，更新所述路径损耗信息，并将更新了路径损耗信息的数据分析请求转发至下一中转节点，直至所述数据分析请求被所述目标插件所在的容器接收。
26、在一个实施方式中，所述路由构建单元具体用于，确定所述目标插件所处的目标容器，并识别所述目标容器的容器层级；构建从数据网关到所述容器层级的数据传输路径，并确定所述数据传输路径中的中间容器层级；针对任一中间容器层级，在所述中间容器层级中确定中转容器，并生成以所述数据网关为起始节点，以各个中转容器为中转节点，以所述目标容器为终止节点的路由信息。
27、在一个实施方式中，所述损耗信息添加单元具体用于，识别所述路由信息中待中转的中转容器的第一数量，并在所述第一数量的基础上增加1，以得到路径损耗值，并基于所述路径损耗值构建路径损耗信息；将构建得到的路径损耗信息添加至所述数据分析请求的扩展字段中。
28、在一个实施方式中，所述路由构建单元具体用于，在所述中间容器层级中识别当前处于运行状态的业务容器；遍历所述业务容器，并将满足以下条件的业务容器选取为中转容器：业务容器当前的资源利用率低于指定阈值，并且所述业务容器中部署的插件与所述目标插件具备相同的插件类型。
29、在一个实施方式中，所述中转单元具体用于，识别当前的路径损耗信息表征的路径损耗值，并将所述路径损耗值减1，以得到更新后的路径损耗值；构建表征所述更新后的路径损耗值的路径损耗信息，并将新构建的路径损耗信息替换所述数据分析请求中携带的路径损耗信息。
30、本专利技术提供的技术方案，通过容器技术，可以在消耗少量系统资源的情况下，部署出具备层级关系的容器系统。不同的容器内可以部署不同的插件，这样，当接收到数据分析请求后，便可以针对数据分析请求构建出路由信息，并基于路由信息中的路径损耗信息，准确地将数据分析请求下发至对应插件所在的容器进行处理，从而实现了轻量化的处理过程。
31、本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
32、下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
本文档来自技高网...【技术保护点】
1.一种基于容器技术的数据分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，构建所述数据分析请求的路由信息包括：
3.根据权利要求1或2所述的方法，其特征在于，在所述数据分析请求中添加与所述路由信息相匹配的路径损耗信息包括：
4.根据权利要求2所述的方法，其特征在于，在所述中间容器层级中确定中转容器包括：
5.根据权利要求1所述的方法，其特征在于，所述中转节点更新所述路径损耗信息包括：
6.一种基于容器技术的数据分析系统，其特征在于，所述系统包括：
7.根据权利要求6所述的系统，其特征在于，所述路由构建单元具体用于，确定所述目标插件所处的目标容器，并识别所述目标容器的容器层级；构建从数据网关到所述容器层级的数据传输路径，并确定所述数据传输路径中的中间容器层级；针对任一中间容器层级，在所述中间容器层级中确定中转容器，并生成以所述数据网关为起始节点，以各个中转容器为中转节点，以所述目标容器为终止节点的路由信息。
8.根据权利要求6或7所述的系统，其特征在于，所述损耗信息添
9.根据权利要求7所述的系统，其特征在于，所述路由构建单元具体用于，在所述中间容器层级中识别当前处于运行状态的业务容器；遍历所述业务容器，并将满足以下条件的业务容器选取为中转容器：业务容器当前的资源利用率低于指定阈值，并且所述业务容器中部署的插件与所述目标插件具备相同的插件类型。
10.根据权利要求6所述的系统，其特征在于，所述中转单元具体用于，识别当前的路径损耗信息表征的路径损耗值，并将所述路径损耗值减1，以得到更新后的路径损耗值；构建表征所述更新后的路径损耗值的路径损耗信息，并将新构建的路径损耗信息替换所述数据分析请求中携带的路径损耗信息。
...【技术特征摘要】
1.一种基于容器技术的数据分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，构建所述数据分析请求的路由信息包括：
3.根据权利要求1或2所述的方法，其特征在于，在所述数据分析请求中添加与所述路由信息相匹配的路径损耗信息包括：
4.根据权利要求2所述的方法，其特征在于，在所述中间容器层级中确定中转容器包括：
5.根据权利要求1所述的方法，其特征在于，所述中转节点更新所述路径损耗信息包括：
6.一种基于容器技术的数据分析系统，其特征在于，所述系统包括：
7.根据权利要求6所述的系统，其特征在于，所述路由构建单元具体用于，确定所述目标插件所处的目标容器，并识别所述目标容器的容器层级；构建从数据网关到所述容器层级的数据传输路径，并确定所述数据传输路径中的中间容器层级；针对任一中间容器层级，在所述中间容器层级中确定中转容器，并生成以所述数据网关为起始节点，以各个中转容器为中转节点，以所述...
【专利技术属性】
技术研发人员：兰雨晴，余丹，李易君，彭建强，
申请(专利权)人：慧之安信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。