一种轻代码异构分布式系统的计算方法技术方案

本发明专利技术涉及云计算领域，更具体地，涉及一种轻代码异构分布式系统的计算方法，包括以下步骤：S1，利用网络获取客户端传输的计算请求任务，并对计算请求任务进行检索；S2，对计算请求任务检索的结果进行工作数据集映射；S3，根据工作数据集映射结果，将计算请求任务分隔成不同的计算阶段；S4，将不同的计算阶段按资源特性分配到不同的计算平台中同时进行计算；S5，对不同的计算平台计算的中间数据进行精减；S6,存储并输出计算平台计算的结果，本发明专利技术公开的轻代码异构分布式系统的计算方法，能高程度减少计算过程产生的碳排，减少了资源的损耗，此外，通过统一资源访问的方式，能实现不同计算机语言的计算支持，并可以同时执行多个任务。务。务。

【技术实现步骤摘要】
一种轻代码异构分布式系统的计算方法


[0001]本专利技术涉及云计算领域，更具体地，涉及一种轻代码异构分布式系统。

技术介绍

[0002]当前，分布式系统主要将系统的吞吐量提高一个数量级，并在此之下，可以有很高效的横向扩展性，因此，分布式系统已经得到了广泛的应用。
[0003]在此之下，暂时未出现一个通用型的分布式系统，也就是说，任何一个分布式系统都是为了解决了专有性的问题，例如作数据处理的分布式系统去做流式计算就非常不合适，例如专做并行大数据量计算的任务就不适合在具有事务能力的分布式系统上执行。
[0004]但无论是任何种类的分布式系统，都是基于通用计算机作为硬作支撑，通用型计算机是一个全能型的的计算机，具有很高的兼容性与通用性，但是经过多年的发展，制作晶体管的工艺已经及大地受到了物理定律的约束，摩尔定律基本已经失效，单单工艺上得升性能的方法已经行不通。
[0005]在这个情况下，通用型的计算机硬件体系和处理方法已经不再适用于当前分布式系统高吞时下量的需求，需要更换新型硬件体系的方式，在这个情况下，需要改变现有分布式系统的底层的运算模式，便于对更强的异构式分布系统进行计算。
[0006]目前，分布式系统的工作都用于IO层面的控制，性能方便也是更多地受到IO性能的约速，整个计算过程可以看成木桶原理，最终性能取决于性能最差的环节。
[0007]在大吞吐量的情况下，现有服务器的CPU的性能远远大于需要处理的数据量，而更多CPU时间都是在等待IO设备的数据输入输出，而通用的计算机是不会考虑成本的情况下，去使用低计算性能的CPU，反而CPU 厂商往往会考虑市场的原因，设计更多的全能全高，用于有较好的评测分数。
[0008]从软件上来看，软件为了工程问题，往往不会考虑太过复杂的分布式系统。或是考虑异构式的系统，因为在近十年来看，暂时未有异构系统的硬件生态来支撑。但是在计算能力停步不前的今天，专有异构的系统是一个必然前进的方向，在软件层面实现兼容性，更好地利用专用计算机硬件来提供性能。
[0009]因此，提出一种解决上述问题的轻代码异构分布式系统实为必要。

技术实现思路

[0010]本专利技术为克服上述现有技术所述的至少一种缺陷(不足)，提供一种轻代码异构分布式系统的计算方法。
[0011]为解决上述技术问题，本专利技术的技术方案如下：一种轻代码异构分布式系统的计算方法，包括以下步骤：
[0012]S1，利用网络获取客户端传输的计算请求任务，并对计算请求任务进行检索；
[0013]S2，对计算请求任务检索的结果进行工作数据集映射；
[0014]S3，根据工作数据集映射结果，将计算请求任务分隔成不同的计算阶段；
[0015]S4，将不同的计算阶段按资源特性分配到不同的计算平台中进行计算；
[0016]S5，对不同的计算平台计算的中间数据进行精减；
[0017]S6,存储并输出计算平台计算的结果。
[0018]进一步的，所述步骤S1中，包括以下步骤：
[0019]S11，通过串行通讯接口或者以太网对计算请求任务进行传输；
[0020]S12，对计算请求任务进行检索。
[0021]更进一步的，所述步骤S2中，包括以下步骤：
[0022]S21，对检索的数据进行快速计算，对快速计算的中间数据进行临时数据存储；
[0023]S22，对步骤S21中临时存储的数据进行工作数据集映射。
[0024]进一步的，所述步骤S3中，不同的计算阶段均由各计算阶段的主节点执行。
[0025]更进一步的，所述步骤S4中，所述资源特性为CPU特性或内存特性或存储特性或高带宽特性的一种或多种。
[0026]进一步的，所述步骤S4中，不同的计算平台中，计算过程流水并行。
[0027]更进一步的，所述步骤S5中，计算平台计算的中间数据分次进行精减。
[0028]进一步的，所述步骤S6中，还包括以下步骤：
[0029]S61，系统对计算平台计算的结果的大小进行控制；
[0030]S62，系统对计算平台计算的结果封装成文件系统。
[0031]与现有技术相比，本专利技术技术方案的有益效果是：
[0032]本专利技术公开的轻代码异构分布式系统的计算方法，通过将计算请求任务分隔成不同的计算阶段，让系统明确计算需要的性能点，增加了分布式计算设备的扩展能力，从而减少了分布式计算设备的运维难度，和降低了智能设备管理与开发的难度，让更多开发人员可以参与，为万物互联提供高性能低成本的解决方案，能高程度减少计算过程产生的碳排，减少了资源的损耗，此外，通过统一资源访问的方式，能实现不同计算机语言的计算支持，并可以同时执行多个任务。
附图说明
[0033]图1是现有技术中分布式系统的计算方法。
[0034]图2是本专利技术中轻代码异构分布式系统的计算方法。
[0035]图3是本专利技术中轻代码异构分布式系统的计算方法的流程图。
具体实施方式
[0036]附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0037]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接连接，可以说两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术的具体含义。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。
[0038]如图1所示，在传统的计算方法中，当需要执行计算请求任务时，每一台计算机只对对应的步骤分别进行检索、工作数据集映射、并行计算、精减和存储的其中一步进行操作，并将最后的结果输出，这种计算的方式，由于多个计算过程只能流水并行，不能同时并行进行计算，因此，计算速度受影响，且浪费了能耗。
[0039]如图2
‑
3所示，本专利技术一种轻代码异构分布式系统的计算方法，包括以下步骤：
[0040]S1，利用网络获取客户端传输的计算请求任务，并对计算请求任务进行检索；
[0041]S2，对计算请求任务检索的结果进行工作数据集映射；
[0042]S3，根据工作数据集映射结果，将计算请求任务分隔成不同的计算阶段；
[0043]S4，将不同的计算阶段按资源特性分配到不同的计算平台中进行计算；
[0044]S5，对不同的计算平台计算的中间数据进行精减；
[0045]S6，存储并输出计算平台计算的结果。
[0046]其中，在步骤S1中，包括以下步骤：
[0047]S11，通过串行通讯接口或者以太网对计算请求任务进行传输；
[0048本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻代码异构分布式系统的计算方法，其特征在于：包括以下步骤：S1，利用网络获取客户端传输的计算请求任务，并对计算请求任务进行检索；S2，对计算请求任务检索的结果进行工作数据集映射；S3，根据工作数据集映射结果，将计算请求任务分隔成不同的计算阶段；S4，将不同的计算阶段按资源特性分配到不同的计算平台中进行计算；S5，对不同的计算平台计算的中间数据进行精减；S6，存储并输出计算平台计算的结果。2.根据权利要求1所述的轻代码异构分布式系统的计算方法的计算方法，其特征在于：所述步骤S1中，包括以下步骤：S11，通过串行通讯接口或者以太网对计算请求任务进行传输；S12，对计算请求任务进行检索。3.根据权利要求1所述的轻代码异构分布式系统的计算方法的计算方法，其特征在于：所述步骤S2中，包括以下步骤：S21，对检索的数据进行快速计算，对快速计算的中间数据进行临时数据存储；S22，对步骤S21中临...

【专利技术属性】
技术研发人员：林晓东，陈伟钦，李洋，黄奕，郑沐兴，彭柏林，
申请(专利权)人：广州亿电邦科智能网络科技有限公司，
类型：发明
国别省市：