程序开发方法和装置、存储介质及电子装置制造方法及图纸

本发明专利技术提供了一种程序开发方法和装置、存储介质及电子装置，上述方法包括：根据已获取的目标计算作业的配置文件，解析配置文件中指示的计算引擎、数据源插件和计算节点插件，并生成目标计算作业的提交脚本；运行提交脚本以将目标计算作业提交到目标资源管理系统；根据配置文件对数据源插件和计算节点插件进行加载并实例化，通过计算引擎执行实例化后的数据源插件以从数据源获取数据，并通过计算引擎执行实例化后的计算节点插件以对数据进行计算。通过本发明专利技术，解决了相关技术中程序开发效率较低的技术问题，提高了程序开发效率，并且降低了计算作业的项目代码的维护和管理难度。

【技术实现步骤摘要】
程序开发方法和装置、存储介质及电子装置
本专利技术涉及数据计算
，具体而言，涉及一种程序开发方法和装置、存储介质及电子装置。
技术介绍
在大数据时代，对数据的实时处理需求越来越迫切，实时计算作业越来越多。在大数据计算中，开发人员可以使用相关的大数据计算框架，例如Spark及Flink开发实时计算程序以及完成实时计算作业。然而，在相关技术中，实时计算程序的开发需要开发人员深入学习并熟悉Spark及Flink等计算框架，以及了解其中的优化手段，才可以完成实时计算作业项目，并且由于不同的开发人员有不同的代码编写习惯，从而导致开发出的实时计算作业的代码维护和管理难度较大、且难以复用，因此相关技术中的程序开发效率较低。针对相关技术中，程序开发效率较低的技术问题，尚未提出有效的技术方案。
技术实现思路
本专利技术实施例提供了一种程序开发方法和装置、存储介质及电子装置，以至少解决相关技术中程序开发效率较低的技术问题。根据本专利技术的一个实施例，提供了一种程序开发方法，应用于终端，其特征在于，该方法包括：根据已获取的目标计算作业的配置文件，解析所述配置文件中指示的计算引擎、数据源插件和计算节点插件，并生成所述目标计算作业的提交脚本；其中，所述配置文件还用于指示对所述目标计算作业的作业信息、所述计算引擎、所述数据源插件以及所述计算节点插件的配置；运行所述提交脚本以将所述目标计算作业提交到目标资源管理系统；根据所述配置文件对所述数据源插件和所述计算节点插件进行加载并实例化，通过所述计算引擎执行实例化后的数据源插件以从数据源获取数据，并通过所述计算引擎执行实例化后的计算节点插件以对所述数据进行计算。可选地，在根据已获取的目标计算作业的配置文件，解析所述配置文件中指示的计算引擎、数据源插件和计算节点插件之前，所述方法还包括：建立目标计算框架，其中，所述目标计算框架包括多个数据源插件以及多个计算节点插件，所述多个数据源插件中的每个数据源插件用于从对应的一个数据源获取数据，所述多个计算节点插件中的每个计算节点插件用于执行数据计算。可选地，所述配置文件还用于指示所述计算引擎向所述目标资源管理器申请的计算资源，以及使用所述计算资源执行所述目标计算作业。可选地，所述通过所述计算引擎执行实例化后的数据源插件以从数据源获取源数据，包括：在所述配置文件指示为所述目标计算作业配置了多个数据源插件的情况下，通过所述计算引擎依次执行实例化后的所述多个数据源插件中的每个数据源插件，其中，所述每个数据源插件用于从对应的一个数据源中获取数据；在通过所述计算引擎依次执行实例化后的所述多个数据源插件中的每个数据源插件的过程中，将从每个数据源获取到的数据注册为对应的一个临时表。可选地，在所述计算节点插件包括多个目标计算节点插件的情况下，所述配置文件还用于指示所述多个目标计算节点插件中的每个目标计算节点插件所依赖的临时表标识和结果表标识。可选地，所述通过所述计算引擎执行实例化后的计算节点插件以对所述数据进行计算，包括：重复执行以下操作，直至当前计算节点插件为所述多个目标计算节点插件中的最后一个目标计算节点插件，其中，所述当前计算节点插件被初始化为所述多个目标计算节点插件中的第一个目标计算节点插件：根据所述当前目标计算节点插件所依赖的临时表标识，确定并加载所述当前目标计算节点插件的输入数据；通过所述计算引擎执行所述当前目标计算节点插件对所述输入数据进行计算，并将输出的计算结果注册为所述当前目标计算节点插件的结果表标识所标识的临时表。可选地，根据所述当前目标计算节点所依赖的临时表标识，确定并加载所述当前目标计算节点插件的输入数据，包括：在所述当前目标计算节点插件所依赖的临时表标识不为空的情况下，将所述当前目标计算节点插件所依赖的临时表标识所标识的数据表中的数据确定为所述当前目标计算节点插件的输入数据；在所述当前目标计算节点插件所依赖的临时表标识为空、且所述当前目标节点插件不为所述多个目标计算节点插件中的第一个插件的情况下，将所述多个目标计算节点插件中所述当前目标节点插件的前一个目标计算节点插件输出的计算结果确定为所述当前目标计算节点插件的输入数据；在所述当前目标计算节点插件所依赖的临时表标识为空、且所述当前目标节点插件为所述多个目标计算节点插件中的第一个插件的情况下，将所述计算引擎从至少一个数据源中的最后一个数据源获取到的源数据确定为所述当前目标计算节点插件的输入数据，其中，所述配置文件还用于指示至少一个所述数据源插件的配置，至少一个所述数据源插件中的每个数据源插件用于从所述至少一个数据源中的一个数据源中获取数据。根据本专利技术的另一实施例，提供了一种程序开发装置，所述程序开发装置应用于终端，所述装置包括：解析模块，用于根据已获取的目标计算作业的配置文件，解析所述配置文件中指示的计算引擎、数据源插件和计算节点插件，并生成所述目标计算作业的提交脚本；其中，所述配置文件还用于指示对所述目标计算作业的作业信息、所述计算引擎、所述数据源插件以及所述计算节点插件的配置；提交模块，用于运行所述提交脚本以将所述目标计算作业提交到目标资源管理系统；执行模块，用于根据所述配置文件对所述数据源插件和所述计算节点插件进行加载并实例化，通过所述计算引擎执行实例化后的数据源插件以从数据源获取数据，并通过所述计算引擎执行实例化后的计算节点插件以对所述数据进行计算。可选地，所述装置还包括建立模块，用于在根据已获取的目标计算作业的配置文件，解析所述配置文件中指示的计算引擎、数据源插件和计算节点插件之前，建立目标计算框架，其中，所述目标计算框架包括多个数据源插件以及多个计算节点插件，所述多个数据源插件中的每个数据源插件用于从对应的一个数据源获取数据，所述多个计算节点插件中的每个计算节点插件用于执行数据计算。可选地，所述配置文件还用于指示所述计算引擎向所述目标资源管理器申请的计算资源，以及使用所述计算资源执行所述目标计算作业。可选地，所述执行模块，还用于：在所述配置文件指示为所述目标计算作业配置了多个数据源插件的情况下，通过所述计算引擎依次执行实例化后的所述多个数据源插件中的每个数据源插件，其中，所述每个数据源插件用于从对应的一个数据源中获取数据；在通过所述计算引擎依次执行实例化后的所述多个数据源插件中的每个数据源插件的过程中，将从每个数据源获取到的数据注册为对应的一个临时表。可选地，在所述计算节点插件包括多个目标计算节点插件的情况下，所述配置文件还用于指示所述多个目标计算节点插件中的每个目标计算节点插件所依赖的临时表标识和结果表标识。可选地，所述执行模块，还用于：重复执行以下操作，直至当前计算节点插件为所述多个目标计算节点插件中的最后一个目标计算节点插件，其中，所述当前计算节点插件被初始化为所述多个目标计算节点插件中的第一个目标计算节点插件：根据所述当前目标计算节点插件所依赖的临时表标识，确定并加载所述当前目标计算节点插件的输入数据；通过所述计算引擎执行所述当前目标计算节点插件对所述输入数据进行计算，并将输出的计算结果注册为本文档来自技高网...

【技术保护点】
1.一种程序开发方法，应用于终端，其特征在于，所述方法包括：/n根据已获取的目标计算作业的配置文件，解析所述配置文件中指示的计算引擎、数据源插件和计算节点插件，并生成所述目标计算作业的提交脚本；其中，所述配置文件还用于指示对所述目标计算作业的作业信息、所述计算引擎、所述数据源插件以及所述计算节点插件的配置；/n运行所述提交脚本以将所述目标计算作业提交到目标资源管理系统；/n根据所述配置文件对所述数据源插件和所述计算节点插件进行加载并实例化，通过所述计算引擎执行实例化后的数据源插件以从数据源获取数据，并通过所述计算引擎执行实例化后的计算节点插件以对所述数据进行计算。/n

【技术特征摘要】
1.一种程序开发方法，应用于终端，其特征在于，所述方法包括：
根据已获取的目标计算作业的配置文件，解析所述配置文件中指示的计算引擎、数据源插件和计算节点插件，并生成所述目标计算作业的提交脚本；其中，所述配置文件还用于指示对所述目标计算作业的作业信息、所述计算引擎、所述数据源插件以及所述计算节点插件的配置；
运行所述提交脚本以将所述目标计算作业提交到目标资源管理系统；
根据所述配置文件对所述数据源插件和所述计算节点插件进行加载并实例化，通过所述计算引擎执行实例化后的数据源插件以从数据源获取数据，并通过所述计算引擎执行实例化后的计算节点插件以对所述数据进行计算。


2.根据权利要求1所述的方法，其特征在于，在所述根据已获取的目标计算作业的配置文件，解析所述配置文件中指示的计算引擎、数据源插件和计算节点插件之前，所述方法还包括：
建立目标计算框架，其中，所述目标计算框架包括多个数据源插件以及多个计算节点插件，所述多个数据源插件中的每个数据源插件用于从对应的一个数据源获取数据，所述多个计算节点插件中的每个计算节点插件用于执行数据计算。


3.根据权利要求1所述的方法，其特征在于，所述配置文件还用于指示所述计算引擎向所述目标资源管理器申请的计算资源，以及使用所述计算资源执行所述目标计算作业。


4.根据权利要求1所述的方法，其特征在于，所述通过所述计算引擎执行实例化后的数据源插件以从数据源获取数据，包括：
在所述配置文件指示为所述目标计算作业配置了多个数据源插件的情况下，通过所述计算引擎依次执行实例化后的所述多个数据源插件中的每个数据源插件，其中，所述每个数据源插件用于从对应的一个数据源中获取数据；
在通过所述计算引擎依次执行实例化后的所述多个数据源插件中的每个数据源插件的过程中，将从每个数据源获取到的数据注册为对应的一个临时表。


5.根据权利要求1所述的方法，其特征在于，在所述计算节点插件包括多个目标计算节点插件的情况下，所述配置文件还用于指示所述多个目标计算节点插件中的每个目标计算节点插件所依赖的临时表标识和结果表标识。


6.根据权利要求5所述的方法，其特征在于，所述通过所述计算引擎执行实例化后的计算节点插件以对所述数据进行计算，包括：
重复执行以下操作，直至当前计算节点插件为所述多个目标计算节点插件中的最后一个目标计算节点插件，其中，所述当前计算节点插件被初始化为所述多个目标计算节点插件中的第一个目标计算节点插件：
根据所述当前目标计...

【专利技术属性】
技术研发人员：程殿虎，
申请(专利权)人：青岛海尔科技有限公司，海尔智家股份有限公司，
类型：发明
国别省市：山东;37