用于生物信息分析的数据处理系统及外部资源管理方法技术方案

本申请公开了应用于数据处理技术领域的用于生物信息分析的数据处理系统及外部资源管理方法。该数据处理系统包括操作模块以及目标数量的控制模块。操作模块分别与目标数量的所述控制模块连接，每个控制模块与一个外部资源系统通过API应用程序接口代理连接。API代理用于实现与所述外部资源系统匹配的API转换。操作模块，用于获取任务指令，向目标控制模块发送所述任务指令。目标控制模块，用于调用与目标控制模块连接的目标外部资源系统执行任务指令。如此能够解除接口类型与资源结构之间的耦合，实现对不同结构的资源的外部资源系统进行管理，实现对异构资源的利用。实现对异构资源的利用。实现对异构资源的利用。

【技术实现步骤摘要】
用于生物信息分析的数据处理系统及外部资源管理方法


[0001]本申请涉及数据处理
，具体涉及用于生物信息分析的数据处理系统及外部资源管理方法。

技术介绍

[0002]随着用于处理计算任务的资源种类的扩展，用户能够使用各种类型的资源处理计算任务。例如，各种类型的资源包括CPU(Central Processing Unit，中央处理器)资源、GPU(Graphics Processing Unit，图形处理器)资源、FPGA(Field Programmable Gate Array，现场可编程门阵列)资源，且这些异构资源本身以Kubernetes集群、SGE集群等形式被集合管理。
[0003]不同类型的资源的结构不同。调用不同结构的资源的方法不同。不同类型的资源的结构能够称为异构资源。处理计算任务的系统无法用单独的方法直接统一管理不同的异构资源，需要配置多种管理方法，导致系统整体结构的松散、控制力变弱，导致系统的运行效率降低。并且，系统调用异构资源的过程中会出现重复步骤，比如作业任务的属性设置、提交、删除和查询，也会影响到系统运行的效率。

技术实现思路

[0004]有鉴于此，本申请提供用于生物信息分析的数据处理系统及外部资源管理方法，能够实现对异构资源的统一管理。
[0005]基于此，本申请提供的技术方案如下：
[0006]第一方面，本申请提供一种用于生物信息分析的数据处理系统，所述数据处理系统包括操作模块以及目标数量的控制模块，所述操作模块分别与目标数量的所述控制模块连接，每个所述控制模块与一个外部资源系统通过应用程序接口API代理连接，所述API代理用于实现与所述外部资源系统匹配的API转换；
[0007]所述操作模块，用于获取任务指令，向目标控制模块发送所述任务指令，所述目标控制模块属于所述目标数量的控制模块；
[0008]所述目标控制模块，用于调用与所述目标控制模块连接的目标外部资源系统执行所述任务指令。
[0009]在一种可能的实现方式中，所述数据处理系统还包括第一参数配置模块，所述第一参数配置模块与所述操作模块连接；
[0010]所述第一参数配置模块，用于配置资源管理参数，并向所述操作模块发送所述资源管理参数；
[0011]所述操作模块，还用于根据所述资源管理参数，调整所述数据处理系统与所述外部资源系统的连接关系。
[0012]在一种可能的实现方式中，所述数据处理系统还包括第二参数配置模块，所述第二参数配置模块与所述控制模块连接；
[0013]所述第二参数配置模块，用于获取任务管理参数，并向所述控制模块发送所述任务管理参数；
[0014]所述控制模块，还用于接收所述任务管理参数，根据所述任务管理参数，配置与所述控制模块连接的外部资源系统。
[0015]在一种可能的实现方式中，所述数据处理系统还包括目标数量的数据交互模块，各个所述数据交互模块分别与所述操作模块和对应的一个所述控制模块连接；
[0016]所述数据交互模块，用于传输所述操作模块和所述控制模块之间的交互数据。
[0017]在一种可能的实现方式中，所述外部资源系统包括管理节点和多个资源节点，所述管理节点配置工作流引擎，用于管理多个所述资源节点，所述管理节点分别与所述多个资源节点通过采用任务执行服务TES接口规范的接口连接，所述控制模块与所述管理节点通过API应用程序接口代理连接，所述API代理采用WES接口规范。
[0018]第二方面，本申请提供一种外部资源管理方法，所述方法应用于用于生物信息分析的数据处理系统，所述数据处理系统与至少一个外部资源系统通过API应用程序接口代理连接，所述方法包括：
[0019]获取任务指令；
[0020]通过目标API代理向目标外部资源系统发送所述任务指令，所述目标API代理连接所述数据处理系统与所述目标外部资源系统，所述目标API代理转换为与所述目标外部资源系统的资源结构匹配的API。
[0021]在一种可能的实现方式中，所述方法还包括：
[0022]获取任务管理参数，所述任务管理参数为配置外部资源系统处理所述任务指令的参数；
[0023]基于所述任务管理参数配置所述外部资源系统。
[0024]在一种可能的实现方式中，所述方法还包括：
[0025]获取资源管理参数，所述资源管理参数用于管理所述外部资源系统；
[0026]基于所述资源管理参数，调整所述数据处理系统与所述外部资源系统的连接关系。
[0027]在一种可能的实现方式中，所述外部资源系统包括管理节点和多个资源节点，所述管理节点配置工作流引擎，用于管理多个所述资源节点，所述管理节点分别与所述多个资源节点通过采用任务执行服务TES接口规范的接口连接，所述控制模块与所述管理节点通过API应用程序接口代理连接，所述API代理采用WES接口规范，所述通过目标API代理向目标外部资源系统发送所述任务指令，包括：
[0028]向所述目标外部资源系统的管理节点发送所述任务指令，以便所述管理节点运行的工作流引擎基于所述任务指令调用所述多个资源节点执行所述任务指令。
[0029]第三方面，本申请提供一种外部资源管理装置，所述装置应用于用于生物信息分析的数据处理系统，所述数据处理系统与至少一个外部资源系统通过API应用程序接口代理连接，所述装置包括：
[0030]获取单元，用于获取任务指令；
[0031]发送单元，用于通过目标API代理向目标外部资源系统发送所述任务指令，所述目标API代理连接所述数据处理系统与所述目标外部资源系统，所述目标API代理转换为与所
述目标外部资源系统的资源结构匹配的API。
[0032]在一种可能的实现方式中，所述获取单元，还用于获取任务管理参数，所述任务管理参数为配置外部资源系统处理所述任务指令的参数；
[0033]所述装置还包括：
[0034]配置单元，用于基于所述任务管理参数配置所述外部资源系统。
[0035]在一种可能的实现方式中，所述获取单元，还用于获取资源管理参数，所述资源管理参数用于管理所述外部资源系统；
[0036]所述装置还包括：
[0037]调整单元，用于基于所述资源管理参数，调整所述数据处理系统与所述外部资源系统的连接关系。
[0038]在一种可能的实现方式中，所述外部资源系统包括管理节点和多个资源节点，所述管理节点配置工作流引擎，用于管理多个所述资源节点，所述管理节点分别与所述多个资源节点通过采用任务执行服务TES接口规范的接口连接，所述控制模块与所述管理节点通过API应用程序接口代理连接，所述API代理采用WES接口规范，所述发送单元，用于通过目标API代理向目标外部资源系统发送所述任务指令，包括：
[0039]所述发送单元，用于向所述目标外部资源系统的管理节点发送所述任务指令，以便所述管理节点运行的工作流引擎基于所述任务指令调用所述多个资源节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生物信息分析的数据处理系统，其特征在于，所述数据处理系统包括操作模块以及目标数量的控制模块，所述操作模块分别与目标数量的所述控制模块连接，每个所述控制模块与一个外部资源系统通过API应用程序接口代理连接，所述API代理用于实现与所述外部资源系统匹配的API转换；所述操作模块，用于获取任务指令，向目标控制模块发送所述任务指令，所述目标控制模块属于所述目标数量的控制模块；所述目标控制模块，用于调用与所述目标控制模块连接的目标外部资源系统执行所述任务指令。2.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括第一参数配置模块，所述第一参数配置模块与所述操作模块连接；所述第一参数配置模块，用于配置资源管理参数，并向所述操作模块发送所述资源管理参数；所述操作模块，还用于根据所述资源管理参数，调整所述数据处理系统与所述外部资源系统的连接关系。3.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括第二参数配置模块，所述第二参数配置模块与所述控制模块连接；所述第二参数配置模块，用于获取任务管理参数，并向所述控制模块发送所述任务管理参数；所述控制模块，还用于接收所述任务管理参数，根据所述任务管理参数，配置与所述控制模块连接的外部资源系统。4.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括目标数量的数据交互模块，各个所述数据交互模块分别与所述操作模块和对应的一个所述控制模块连接；所述数据交互模块，用于传输所述操作模块和所述控制模块之间的交互数据。5.根据权利要求1所述的系统，其特征在于，所述外部资源系统包括管理节点和多个资源节点，所述管理节点配置工作流引擎，用于管理多个所述资源节点，所述管理节点分别与所述多个资源节点通过采用任务执行服务TES接口规范的接口连接，所述控制模块与所述管理节点通过API应用程序接口代理连接，所述API代理采用WES接口规范。6.一种外部资源管理方法，其特征在于，所述方法应用于用于生物信息分析的数据处理系统，所述数据处理系统与至少一个外部资源系统通过API应用程序接口代理连接，所述方法包括：获取任务指令；通过目标API代理向目标外部资源系统发送所述...

【专利技术属性】
技术研发人员：卢欣，于鸿磊，刘继龙，李召义，李昭强，陈林，肖庆宇，孙博文，程瑾瑜，郎志坚，陈秭如，肖华源，周剑文，张鑫，李亦学，谭待，
申请(专利权)人：广州国家实验室，
类型：发明
国别省市：