【技术实现步骤摘要】
本专利技术涉及计算机技术,尤其涉及一种。
技术介绍
随着数据密集型计算的迅速发展,国内外互联网公司的核心业务越来越多地需要通过大规模数据处理进行支持。在需要对海量数据进行处理的应用场景下,开源实现的分布式系统基础架构(Hadoop)得到了快速的发展。在Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)之上,进一步地实现了映射化简(MapReduce)框架。目前Hadoop平台的MapReduce系统,对作业的执行一般包括执行映射任务(Map Task)和化简任务(Reduce Task)两个阶段。对于MapReduce 系统中作业的执行时间的预测,可以用来支持高效的调度策略,还可以作为对执行作业过程进行优化的依据。但是,现有技术中对MapReduce系统中作业的执行 时间进行预测时,将整个 MapReduce系统作为黑盒进行考虑,因此,目前对MapReduce系统中作业的执行时间进行预测的方法,存在准确率较低的问题。
技术实现思路
本专利技术提供一种,用于解决在对MapReduce作业的执行时间进行预测时,准确率较低的问题。本专利技术的第一个方面是提供一种,包括对输入虚拟系统的MapReduce作业进行监测,获取所述MapReduce作业输入映射 Map函数的参数信息,输出Map函数的参数信息和输出化简Reduce函数的参数信息、在Map 函数中的实际执行时间以及在Reduce函数中的实际执行时间;根据所述输入Map函数的参数信息、所述输出Map函数的参数信息以及所述在Map 函数中的实际执行时间,获得Ma ...
【技术保护点】
一种映射化简MapReduce作业执行时间预测方法,其特征在于,包括:对输入虚拟系统的MapReduce作业进行监测,获取所述MapReduce作业输入映射Map函数的参数信息,输出Map函数的参数信息和输出化简Reduce函数的参数信息、在Map函数中的实际执行时间以及在Reduce函数中的实际执行时间;根据所述输入Map函数的参数信息、所述输出Map函数的参数信息以及所述在Map函数中的实际执行时间,获得Map任务执行时间预测值;根据所述输出Map函数的参数信息、所述输出Reduce函数的参数信息以及所述在Reduce函数中的实际执行时间,获得Reduce任务执行时间预测值;根据所述Map任务执行时间预测值和所述Reduce任务执行时间预测值,获得所述MapReduce作业执行时间的预测值。
【技术特征摘要】
1.一种映射化简MapReduce作业执行时间预测方法,其特征在于,包括 对输入虚拟系统的MapReduce作业进行监测,获取所述MapReduce作业输入映射Map函数的参数信息,输出Map函数的参数信息和输出化简Reduce函数的参数信息、在Map函数中的实际执行时间以及在Reduce函数中的实际执行时间; 根据所述输入Map函数的参数信息、所述输出Map函数的参数信息以及所述在Map函数中的实际执行时间,获得Map任务执行时间预测值; 根据所述输出Map函数的参数信息、所述输出Reduce函数的参数信息以及所述在Reduce函数中的实际执行时间,获得Reduce任务执行时间预测值; 根据所述Map任务执行时间预测值和所述Reduce任务执行时间预测值,获得所述MapReduce作业执行时间的预测值。2.根据权利要求1所述的MapReduce作业执行时间预测方法,其特征在于,所述输入Map函数的参数信息包括输入Map函数的数据量;所述输出Map函数的参数信息包括输出Map函数的数据量和输出Map函数的记录数;所述输出Reduce函数的参数信息包括输出Reduce函数的数据量。3.根据权利要求2所述的MapReduce作业执行时间预测方法,其特征在于,所述根据所述输入Map函数的参数信息、所述输出Map函数的参数信息以及所述在Map函数中的实际执行时间,获得Map任务执行时间预测值具体为 利用所述输入Map函数的数据量除以磁盘顺序读的速率,获得读入Map函数的时间;利用所述在Map函数中的实际执行时间除以标准作业在所述虚拟系统的Map函数中的实际执行时间,获得Map函数的计算复杂度,所述标准作业是与所述MapReduce作业对应的; 利用所述Map函数的计算复杂度乘以所述标准作业在实际系统的Map函数中的实际执行时间,获得执行Map函数的时间;利用所述输出Map函数的记录数乘以对所述输出Map函数的记录数进行对数运算后的数值,再乘以排序比例系数,获得Map函数的排序时间,所述排序比例系数为预设数值;利用所述输出Map函数的数据量除以磁盘顺序写的速率,获得输出Map函数的时间;根据Map函数的初始化时间、所述读入Map函数的时间、所述执行Map函数的时间、所述Map函数的排序时间和所述输出Map函数的时间,获得所述Map任务执行时间预测值。4.根据权利要求2所述的MapReduce作业执行时间预测方法,其特征在于,所述根据所述输出Map函数的参数信息、所述输出Reduce函数的参数信息以及所述在Reduce函数中的实际执行时间,获得Reduce任务执行时间预测值具体为 利用所述输出Map函数的数据量乘以Map任务个数,再除以所述...
【专利技术属性】
技术研发人员:林学练,孟子德,沃天宇,宋鸽,随培培,
申请(专利权)人:北京航空航天大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。