面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统技术方案

本发明专利技术公开了一种面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统，该方案通过获取各计算节点CPU数量、性能和负载，将待处理数据进行初始化分割，再将所分割数据包和相应的处理程序分配给各计算节点CPU处理；进一步根据第一次各计算节点处理结果，统计计算节点各CPU对数据包的最长处理时间与最短处理时间的比值，根据该比值对剩余数据包进行划分，依次循环，直至所有的数据包处理完毕，从而实现各CPU的负载均衡和处理任务的时间同步，该方法较好地适应了计算量未知的待处理数据包的自适应任务划分，提高并行效率，适应具有MIPS架构的龙芯大数据一体机的负载均衡和流式大数据实时处理。

【技术实现步骤摘要】
面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统
本专利技术涉及大数据处理
，尤其涉及一种面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统。
技术介绍
大数据一体机是云计算的有效补充，能够减轻云计算中心的计算负担和通信代价。龙芯大数据一体机是基于龙芯处理器研制的国产大数据处理系统，其基本组成包括1个管理节点、5个计算节点和1个万兆交换机，实现大数据的传输、存储、处理和分析。负载均衡是实现大数据一体机高性能计算的关键技术。由于龙芯处理器为MIPS架构，基于X86指令集开发封装的负载均衡系统无法移植到龙芯大数据一体机使用；Hadoop的负载均衡机制虽然为开源系统，但是需要对硬盘等外设频繁地进行输入/输出操作，由于龙芯处理器较酷睿等处理器的性能有较大差距，影响了对大数据的高效处理，因此，Hadoop的负载均衡也不适用于龙芯大数据一体机系统。需要研发面向MIPS架构的大数据一体机负载均衡系统，以实现大数据一体机基础设施的国产化替代。相关的大数据处理负载均衡方法主要包括：(1)FIFO调度算法：该方法采用先进先出队列，不考虑作业的大小或优先级，效率较低；(2)随机调度算法：该类算法综合考虑节点负载状态、物理性能、任务优先级等，基于权值实现任务的动态调度，侧重于存储空间利用率的处理；(3)轮询及加权轮询：适用于服务器群中各服务器的处理能力相同且每笔业务处理量差异不大的情况，按公约后的权重设置轮循比率或为轮询中的每台服务器附加一定的权重，但是存在慢的提供者累积请求等局限性；(4)最小连接：该算法事先为每台服务器分配处理连接的数量，并将客户端请求转至连接数最少的服务器上，能够在一定程度上降低服务器的负载，但是难以适应动态的处理请求。现有负载均衡方法主要侧重于提高存储器的利用率，未考虑处理任务的时间同步，以及对待处理数据的合理划分等问题，难以适用龙芯大数据一体机-这一小规模群集系统的负载均衡要求。
技术实现思路
本专利技术的目的是提供一种面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统，可以实现对大数据的高效处理和负载均衡。本专利技术的目的是通过以下技术方案实现的：一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，包括：采集待处理的数据，并存储与缓存之中；获取各计算节点的CPU数量信息、负载信息与性能信息；按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据，并按照CPU数量信息进行数据包平均划分；将划分后的数据包发送至各计算节点的CPU进行处理，并统计各计算节点的CPU对数据包的处理时间，通过处理时间的最大值与最小值，确定计算量差异；基于计算量差异对缓存中剩余的数据进行数据包大小的划分，直至缓存中的数据全部处理完毕。一种面向负载均衡的龙芯大数据一体机自适应任务分割系统，包括：数据采集模块，用于采集待处理的数据，并存储与缓存之中；计算节点监测模块，用于获取各计算节点的CPU数量信息、负载信息与性能信息；待处理数据划分模块，用于按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据，并按照CPU数量信息进行数据包数平均划分；任务分配模块，用于将划分后的数据包发送至各计算节点的CPU进行处理；所述待处理数据划分模块，还用于统计各计算节点的CPU对数据包的处理时间，通过处理时间的最大值与最小值，确定计算量差异；基于计算量差异对缓存中剩余的数据进行数据包大小的划分，直至缓存中的数据全部处理完毕。由上述本专利技术提供的技术方案可以看出，通过对待处理大数据的自适应任务分割，为龙芯大数据一体机提供了高效的负载均衡机制，不仅适合于处理具有较大差异计算量的数据包，实现负载均衡，且能够有效进行处理任务的时间同步。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法的流程图；图2为本专利技术实施例提供的龙芯大数据一体机自适应任务分割方法形成的并行效率示意图；图3为本专利技术实施例提供的一种面向负载均衡的龙芯大数据一体机自适应任务分割系统的示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。龙芯大数据一体机是大数据的基础设施，对国家信息安全具有重要的意义。考虑龙芯处理器采用MIPS架构，以及性能较之Intel同类型处理器有较大差距，为了实现对大数据的高效处理和负载均衡，本专利技术提出了龙芯大数据一体机的自适应任务划分方法，该方法主要通过管理节点来执行，主要如下：管理节点获取龙芯大数据一体机各计算节点CPU数量、性能和负载，将待处理数据进行初始化分割，管理节点将所分割数据包和相应的处理程序分配给各计算节点CPU处理；进一步根据第一次各计算节点处理结果，统计计算节点各CPU对数据包的最长处理时间与最短处理时间的比值，根据该比值、各计算节点CPU数量和前一次数据包的划分大小，取剩余数据包进行划分，所划分数据包大小为前一次数据包大小乘以该比值，将划分后的数据包传输至龙芯大数据一体机的计算节点CPU继续处理，依次循环，直至所有的数据包处理完毕，从而实现各CPU的负载均衡和处理任务的时间同步，该方法较好地适应了计算量未知的待处理数据包的自适应任务划分，提高并行效率，适应具有MIPS架构的龙芯大数据一体机的负载均衡和流式大数据实时处理。如图1所示，为本专利技术实施例所提供面向负载均衡的龙芯大数据一体机自适应任务分割方法的流程图，其主要包括如下步骤：步骤11、采集待处理的数据，并存储于缓存之中。如之前所述，该方法通过管理节点来执行，因此，将管理节点作为执行主体。步骤12、获取各计算节点的CPU数量信息、负载信息与性能信息。管理节点可经过万兆交换机与各计算节点配置的BMC(基板管理控制器)模块进行通信，经所述BMC模块读取各计算节点的CPU负载、性能(主频)和CPU数量信息。步骤13、按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据，并按照CPU数量信息进行数据包平均划分。本专利技术实施例中，数据包划分是统一针对所有计算节点的CPU而言，在后文进行数据包大小调整的步骤中，也是针对所有CPU统一进行数据包大小的调整。步骤14、将划分后的数据包和对应的处理程序发送至各计算节点的CPU进行处理(处理程序用于相关数据包的处理，只有第一次发送处理包的时候发送)，并统计各计算节点的CPU对数据包的处本文档来自技高网...

【技术保护点】
1.一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，包括：/n采集待处理的数据，并存储于缓存之中；/n获取各计算节点的CPU数量信息、负载信息与性能信息；/n按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据，并按照CPU数量信息进行数据包平均划分；/n将划分后的数据包发送至各计算节点的CPU进行处理，并统计各计算节点的CPU对数据包的处理时间，通过处理时间的最大值与最小值，确定计算量差异；/n基于计算量差异对缓存中剩余的数据进行数据包大小的划分，直至缓存中的数据全部处理完毕。/n

【技术特征摘要】
1.一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，包括：
采集待处理的数据，并存储于缓存之中；
获取各计算节点的CPU数量信息、负载信息与性能信息；
按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据，并按照CPU数量信息进行数据包平均划分；
将划分后的数据包发送至各计算节点的CPU进行处理，并统计各计算节点的CPU对数据包的处理时间，通过处理时间的最大值与最小值，确定计算量差异；
基于计算量差异对缓存中剩余的数据进行数据包大小的划分，直至缓存中的数据全部处理完毕。


2.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，经过万兆交换机与各计算节点配置的BMC模块进行通信，经所述BMC模块读取各计算节点的CPU负载、性能和CPU数量信息。


3.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，所述通过处理时间的最大值与最小值，确定计算量差异包括：
将处理时间的最大值与最小值分别记为tmax和最小值tmin，再通过下式确定计算量差异：
P＝Int(tmax/tmin+0.5)
其中，Int(.)为取整函数。


4.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，基于计算量差异对缓存中剩余的数据进行数据包大小的划分的方式包括：
将上一次划分的数据包大小记为M，计算量差异记为P，则本次划分的数据包大小为：M'＝(1/P)*M。


5.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，该方法还包括：
每一次划分后，都会接收到计算节点回传的数据包处理结果；
综合所有数据包的处理结果，并存储至本地数据库。


6.一种面向负载均衡的龙芯大数据一体机自适应任务分割系统，其特...

【专利技术属性】
技术研发人员：陈锋，陈宇强，
申请(专利权)人：安徽中科龙安科技股份有限公司，
类型：发明
国别省市：安徽;34