一种指令执行方法、装置、电子设备和存储介质制造方法及图纸

技术编号:25270406 阅读:19 留言:0更新日期:2020-08-14 23:03
本发明专利技术实施例提供了一种指令执行方法、装置、电子设备和存储介质,在执行指令的过程中,按照指令集之间的关联关系执行,以使得并行的指令能够并行执行,提高指令的执行效率。同时,每次执行某一第二指令集之前,需要保证在该第二指令集之前,且与该第二指令集关联的第一指令集均执行结束,避免未执行结束的第一指令集影响该第二指令集的执行结果,保证指令执行的正确性。

【技术实现步骤摘要】
一种指令执行方法、装置、电子设备和存储介质
本专利技术涉计算机
,尤其是涉及一种指令执行方法、装置、电子设备和存储介质。
技术介绍
随着移动互联网技术的快速发展,使得用户产生和应用的数据呈现飞速增长的趋势,海量数据的出现和数据结构的改变,给电信行业运营商管理和分析处理数据带来了巨大的挑战。在超大规模数据处理的场景下,传统基于关系型数据库的处理方法已经无法有效地对日益增长的新型的业务数据进行存储和处理。为了解决针对超大规模数据的计算处理问题,现有技术提供了云计算大数据平台这一解决方案。大规模数据并行处理技术是云计算中的关键技术。当前最流行的大规模处理的编程模型是MapReduce编程模型。Hadoop是MapReduce编程模型开源实现最广泛的分布式计算平台。Hadoop可以使用户在不了解底层细节的情况下开发MapReduce程序,并在价格低廉的商用集群上进行运算和存储,具有可扩展、高容错、经济、可靠、高效等优点。Hadoop的核心组件由两个部分组成:分布式文件系统(HDFS)和分布式计算模型MapReduce。HDFS是Hadoop的旗舰级文件系统,它以流式数据访问模式来存储超大文件,运行于商用硬件集群上;MapReduce是一个编程模型,用以进行稳定、高效、超大数据量的分析计算。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。具体的,MapReduce框架是主从结构的。MapReduce运行时,主机(master)启动一个JobTracker(任务调度)进程,用于任务调度。从机(slave)启动数个JobTracker进程,作为运算实体。JobTracker的主要职责就是启动、跟踪和调度各个从机的任务执行,JobTracker中存储着任务状态信息。可见,现有的Hive执行语句方式有都只能一步步顺序执行,无法进行并行执行提高执行效率。为了提高执行效率,虽然也存在实现指令并行执行的方法,但是现有的并行执行方法无法保证上一层的所有关联指令均执行完毕后再执行当前指令,导致指令的执行出错率较高。
技术实现思路
本专利技术实施例提供一种指令执行方法、装置、电子设备和存储介质,用以解决现有的并行执行方法无法保证上一层的所有关联指令均执行完毕后再执行当前指令,导致指令的执行出错率较高的问题。针对以上技术问题,第一方面,本专利技术实施例提供一种指令执行方法,包括:根据各指令集之间的关联关系,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集;对每一第二指令集,将各第一指令集中与所述第二指令集关联的第一指令集作为目标指令集,在目标指令集执行结束后,执行所述第二指令集。可选地,所述根据各指令集之间的关联关系,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集,包括:根据所述关联关系生成有向图,并根据所述有向图生成表示所述关联关系的关联矩阵,其中,所述关联矩阵根据所述有向图各顶点之间的邻接关系确定;根据所述有向图中各顶点与指令集的对应关系和所述关联矩阵,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集。可选地,所述根据所述有向图中各顶点与指令集的对应关系和所述关联矩阵,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集,包括:根据所述对应关系在所述有向图的各顶点插入指令集,得到以各指令集封装的顶点数据结构;根据所述顶点数据结构和所述关联矩阵,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集。可选地,还包括:对所述有向图中各顶点对应的指令集的执行状态进行监控,并根据各顶点对应的执行状态生成执行状态标识。可选地,所述根据所述顶点数据结构和所述关联矩阵,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集,包括:根据所述有向图中各顶点对应的执行状态标识,获取当前正在执行或执行结束的第一指令集对应的第一顶点;根据获取的执行状态标识和所述关联矩阵,获取与第一顶点邻接,且还未执行指令集的第二顶点;根据所述顶点数据结构获取与第二顶点对应的第二指令集。可选地,所述对每一第二指令集,将各第一指令集中与所述第二指令集关联的第一指令集作为目标指令集,在目标指令集执行结束后,执行所述第二指令集,包括:对每一第二指令集对应的第二顶点,将各第一顶点中与所述第二顶点关联的第一顶点作为目标顶点,根据所述关联矩阵和获取的执行状态标识,判断所述目标顶点对应的第一指令集是否执行结束;若所述目标顶点对应的第一指令集执行结束,则根据所述顶点数据结构执行与所述第二顶点对应的第二指令集。可选地,还包括:根据所述关联矩阵,将所述有向图的各顶点加入队列;其中,对每一第二顶点,若所述目标顶点对应的第一指令集执行结束,则使得所述第二顶点出队。第二方面,本专利技术实施例提供一种指令执行装置,包括:获取模块,用于根据各指令集之间的关联关系,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集;执行模块,用于对每一第二指令集,将各第一指令集中与所述第二指令集关联的第一指令集作为目标指令集,在目标指令集执行结束后,执行所述第二指令集。第三方面,本专利技术实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以上所述的指令执行方法的步骤。第四方面,本专利技术实施例提供一种非暂态可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以上任一项所述的指令执行方法的步骤。本专利技术的实施例提供了一种指令执行方法、装置、电子设备和存储介质,在执行指令的过程中,按照指令集之间的关联关系执行,以使得并行的指令能够并行执行,提高指令的执行效率。同时,每次执行某一第二指令集之前,需要保证在该第二指令集之前,且与该第二指令集关联的第一指令集均执行结束,避免未执行结束的第一指令集影响该第二指令集的执行结果,保证指令执行的正确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的指令执行方法的流程示意图;图2是本专利技术另一实施例提供的根据各SQL语句的关联关系绘制的有向图;图3是本专利技术另一实施例提供的指令执行装置的结构框图;图4是本专利技术另一实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案本文档来自技高网
...

【技术保护点】
1.一种指令执行方法,其特征在于,包括:/n根据各指令集之间的关联关系,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集;/n对每一第二指令集,将各第一指令集中与所述第二指令集关联的第一指令集作为目标指令集,在目标指令集执行结束后,执行所述第二指令集。/n

【技术特征摘要】
1.一种指令执行方法,其特征在于,包括:
根据各指令集之间的关联关系,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集;
对每一第二指令集,将各第一指令集中与所述第二指令集关联的第一指令集作为目标指令集,在目标指令集执行结束后,执行所述第二指令集。


2.根据权利要求1所述的指令执行方法,其特征在于,所述根据各指令集之间的关联关系,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集,包括:
根据所述关联关系生成有向图,并根据所述有向图生成表示所述关联关系的关联矩阵,其中,所述关联矩阵根据所述有向图各顶点之间的邻接关系确定;
根据所述有向图中各顶点与指令集的对应关系和所述关联矩阵,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集。


3.根据权利要求2所述的指令执行方法,其特征在于,所述根据所述有向图中各顶点与指令集的对应关系和所述关联矩阵,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集,包括:
根据所述对应关系在所述有向图的各顶点插入指令集,得到以各指令集封装的顶点数据结构;
根据所述顶点数据结构和所述关联矩阵,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集。


4.根据权利要求2所述的指令执行方法,其特征在于,还包括:
对所述有向图中各顶点对应的指令集的执行状态进行监控,并根据各顶点对应的执行状态生成执行状态标识。


5.根据权利要求3所述的指令执行方法,其特征在于,所述根据所述顶点数据结构和所述关联矩阵,获取与当前正在执行或执行结束的各第一指令集关联,且还未执行的至少一个第二指令集,包括:
根据所述有向图中各顶点对应的执行状态标识,...

【专利技术属性】
技术研发人员:卞卡李琳贾庆华孙一波
申请(专利权)人:咪咕文化科技有限公司中国移动通信集团有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1