发布sql的优化方法及装置、存储介质制造方法及图纸

本发明专利技术公开一种发布sql的优化方法及装置、存储介质，通过Hadoop集群的Yarn资源管理系统将计算资源分成开发、测试、正式三个组，开发环境、测试环境、正式环境就能统一到一个集群中。数据开发人员将开发的sql代码在不同组之间共享只读权限，不同组利用自身的计算资源执行sql来完成sql代码从开发、测试到上线的流程。采用本发明专利技术，通过在同一个集群内可以实现开发环境、测试环境、正式环境，不需要为每类角色单独搭建一套集群，可以节省服务器资源的开销，提高sql代码的发布效率。

Optimization method, device and storage medium of SQL Publishing

【技术实现步骤摘要】
发布sql的优化方法及装置、存储介质
本专利技术涉及代码发布
，尤其涉及一种发布sql的优化方法及装置、存储介质。
技术介绍
随着人工智能、移动互联网和物联网的兴起，大数据技术也得到了飞速发展，大数据已经融入了各行各业。各个公司也会建立基于大数据平台的数据仓库，而数据仓库的建设离不开大量sql代码的开发，一套好的sql代码发布流程不仅能规范研发步骤，而且能提高开发效率。
技术实现思路
本专利技术实施例提供一种发布sql的优化方法及装置、存储介质，可以减少计算资源的浪费，提高sql代码的发布效率。本专利技术实施例第一方面提供了一种发布sql的优化方法，可包括：基于Hadoop集群的Yarn资源管理系统将计算资源分成开发、测试、正式三个组；利用开发组的计算资源开发sql计算代码，并开放sql计算代码的只读权限给测试组和正式组；利用测试组的计算资源验证sql计算代码；采用为正式组分配的账号执行sql计算代码。进一步的，上述方法还包括：根据开发需求确定是否需要利用测试组的计算资源验证sql计算代码；当需要验证时，利用测试组的计算资源验证sql计算代码的sql逻辑及结果是否符合预期；当不需要验证时，关闭测试组的sql只读权限并发起审批流程。进一步的，上述方法还包括：当sql计算代码通过审批时，采用为正式组分配的账号执行sql计算代码。进一步的，上述方法还包括：当sql逻辑及结果符合预期时，通过验证；当sql逻辑及结果不符合预期时，则转入执行利用开发组的计算资源开发sql计算代码，并开放sql计算代码的只读权限给测试组和正式组的步骤。进一步的，开发组、测试组和正式组的资源分配比例为1:2:7。本专利技术实施例第二方面提供了一种发布sql的优化装置，可包括：资源分配模块，用于基于Hadoop集群的Yarn资源管理系统将计算资源分成开发、测试、正式三个组；sql开发模块，用于利用开发组的计算资源开发sql计算代码，并开放sql计算代码的只读权限给测试组和正式组；sql验证模块，用于利用测试组的计算资源验证sql计算代码；sql执行模块，用于采用为正式组分配的账号执行sql计算代码。进一步的，装置还包括：验证判断模块，用于根据开发需求确定是否需要利用测试组的计算资源验证sql计算代码；sql验证模块，具体用于当需要验证时，利用测试组的计算资源验证sql计算代码的sql逻辑及结果是否符合预期；审批发起模块，用于当不需要验证时，关闭测试组的sql只读权限并发起审批流程。进一步的，sql执行模块，具体用于当sql计算代码通过审批时，采用为正式组分配的账号执行sql计算代码。进一步的，装置还包括：验证通过模块，用于当sql逻辑及结果符合预期时，通过验证；开发重置模块，用于当sql逻辑及结果不符合预期时，则转入sql开发模块执行利用开发组的计算资源开发sql计算代码，并开放sql计算代码的只读权限给测试组和正式组。进一步的，开发组、测试组和正式组的资源分配比例为1:2:7。本专利技术实施例第三方面提供了一种计算机设备，该设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的发布sql的优化方法。本专利技术实施例第四方面提供了一种计算机存储介质，该计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的发布sql的优化方法。在本专利技术实施例中，通过Hadoop集群的Yarn资源管理系统将计算资源分成开发、测试、正式三个组，在同一个集群内实现开发环境、测试环境、正式环境，不需要为每类角色单独搭建一套集群，节省了服务器资源的开销，提高了sql代码的发布效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种发布sql的优化方法的流程示意图；图2是本专利技术实施例提供的另一种发布sql的优化方法的流程示意图；图3是本专利技术实施例提供的一种发布sql的优化装置的结构示意图；图4是本专利技术实施例提供的一种计算机设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含，术语“第一”和“第二”等仅是为了区别命名，并不代表数字的大小或者排序。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。本专利技术实施例中，发布sql的优化方法可以应用于计算机设备中，该计算机设备可以是电脑或者智能手机，也可以是其它具备计算处理能力的电子设备。如图1所示，发布sql的优化方法至少可以包括以下几个步骤：S101，基于Hadoop集群的Yarn资源管理系统将计算资源分成开发、测试、正式三个组。需要说明的是，Yarn时Hadoop集群的资源管理系统，负责CPU与内存资源的分配。优选的，Yarn可以将装置中的计算资源分成开发组、测试组和正式组，三个组之间的分配比例可以是1:2:7，当然也可以根据实际的开发需求进行更改。S102，利用开发组的计算资源开发sql计算代码，并开放sql计算代码的只读权限给测试组和正式组。具体实现中，装置可以为数据开发人员分配开发组的账号，开发人员可以使用该账号并利用开发组计算资源开发sql计算代码，并开放代码的只读权限给测试组和正式组。进一步的，装置可以根据开发需求确定是否需要利用测试组的计算资源验证上述sql计算代码。如果需要则验证，否则就关闭测试组的sql只读权限并发起审批流程。S103，利用测试组的计算资源验证sql计算代码。具体实现中，当需要验证代码时，装置可以利用测试组的计算资源验证sql计算代码的sql逻辑及结果是否符合预期，如果符合预期则验证通过进而可以发提交发布审批，否则就重新开发代码。S104，采用为正式组分配的账号执行sql计本文档来自技高网...

【技术保护点】
1.一种发布sql的优化方法，其特征在于，包括：/n基于Hadoop集群的Yarn资源管理系统将计算资源分成开发、测试、正式三个组；/n利用开发组的计算资源开发sql计算代码，并开放所述sql计算代码的只读权限给测试组和正式组；/n利用测试组的计算资源验证所述sql计算代码；/n采用为正式组分配的账号执行所述sql计算代码。/n

【技术特征摘要】
1.一种发布sql的优化方法，其特征在于，包括：
基于Hadoop集群的Yarn资源管理系统将计算资源分成开发、测试、正式三个组；
利用开发组的计算资源开发sql计算代码，并开放所述sql计算代码的只读权限给测试组和正式组；
利用测试组的计算资源验证所述sql计算代码；
采用为正式组分配的账号执行所述sql计算代码。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据开发需求确定是否需要利用测试组的计算资源验证所述sql计算代码；
当需要验证时，利用测试组的计算资源验证所述sql计算代码的sql逻辑及结果是否符合预期；
当不需要验证时，关闭所述测试组的sql只读权限并发起审批流程。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述sql计算代码通过审批时，采用为正式组分配的账号执行所述sql计算代码。


4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述sql逻辑及结果符合预期时，通过验证；
当所述sql逻辑及结果不符合预期时，则转入执行利用开发组的计算资源开发sql计算代码，并开放所述sql计算代码的只读权限给测试组和正式组的步骤。


5.根据权利要求1所述的方法，其特征在于，所述开发组、所述测试组和所述正式组的资源分配比例为1:2:7。


6.一种发布sql的优化装置，其特征在于，包括：
资源分配模块，用于基于Hadoop集群的Yarn资源管理系统将计算资源分成开发、测试、正式三...

【专利技术属性】
技术研发人员：徐涛，吴峰，郭伟，
申请(专利权)人：上海易点时空网络有限公司，
类型：发明
国别省市：上海;31