一种高性能云计算混合计算系统及其方法技术方案

本发明专利技术涉及一种高性能云计算混合计算系统及其方法。该方法在高性能计算资源池的每一个计算节点中设置云计算代理服务模块同时与高性能计算调度系统和云计算管理系统连接。云计算资源不足时，由云计算管理系统向高性能计算调度系统发送节点资源申请，并根据高性能计算调度系统通知的空闲计算节点信息向对应云计算代理服务模块发送第一清理命令以清理该空闲计算节点并将其加入到云计算资源池。云计算资源冗余时，由云计算管理系统释放一部分计算节点，并向对应云计算代理服务模块发送第二清理命令以清理待释放的计算节点，然后由高性能计算调度系统回收到高性能计算资源池。本发明专利技术避免资源闲置，提高资源利用率。

【技术实现步骤摘要】

本专利技术涉及计算技术，更具体地说，涉及一种高性能云计算混合计算系统及其方法。
技术介绍
高性能计算(highperformancecomputing，缩写HPC)在工程计算、科学研究、遗传基因以及金融风险分析中已经取得了巨大的成就。高性能计算历经几十年的发展，如今不仅是作为实验和理论以外的第三大科学研究手段，而且可以被当作是一个国家综合国力的主要评价标准。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。目前的中国对于云计算和高性能计算的支持力度非常大，建立了不少超级计算中心，组成大规模的计算集群。云计算采用的关键技术是虚拟化，这样可以使资源按需调度，但也势必导致一部分的性能损失，而高性能计算以计算速度为第一追求，因而在性能方面与云计算会有一定的冲突。各个超级计算中心一般都会根据业务、服务的不同将计算集群分为云计算分区和高性能计算分区，云计算分区运行云操作系统，应用于云计算服务，而高性能计算分区则运行高性能作业调度系统，应用于高性能计算服务。当高性能计算业务不忙而云计算业务比较紧张的时候，如果按照以往计算中心常规的分区划分方式，那么将会出现高性能计算资源闲置的情况，因此需要找到一个更好的合理分配使用超级计算中心计算资源的技术。
技术实现思路
本专利技术要解决的技术问题在于，针对传统的计算中心资源分配存在的上述不足之处，提供一种高性能云计算混合计算系统及其方法。本专利技术在第一方面为解决其技术问题所采用的技术方案是：提出一种高性能云计算混合计算系统及其方法，包括高性能计算资源池和云计算资源池，所述高性能计算资源池包括高性能计算调度系统和由其管理的多个计算节点，所述云计算资源池包括云计算管理系统和由其管理的多个计算节点，所述高性能计算资源池中的计算节点均设有云计算代理服务模块，所述云计算代理服务模块同时与高性能计算调度系统和云计算管理系统连接；所述云计算管理系统在监控到资源不足时向高性能计算调度系统发送节点资源申请，并根据高性能计算调度系统通知的空闲的计算节点信息向该空闲的计算节点的云计算代理服务模块发送第一清理命令以由所述云计算代理服务模块清理该空闲的计算节点并将其加入到云计算资源池，以及在监控到资源冗余时释放从高性能计算资源池申请到的一部分计算节点，并向待释放的计算节点的云计算代理服务模块发送第二清理命令以由所述云计算代理服务模块清理待释放的计算节点；所述高性能计算调度系统基于云计算管理系统发送的节点资源申请调度空闲的计算节点并通知给云计算管理系统，以及根据所述云计算代理服务模块基于所述第二清理命令清理相应的计算节点后返回的信息将该清理后的计算节点回收到高性能计算资源池。根据本专利技术第一方面的一个实施例中，所述高性能计算调度系统基于云计算管理系统发送的节点资源申请调度空闲的计算节点并通知给云计算管理系统，进一步包括：将所述节点资源申请设置为最高优先级，当出现空闲的计算节点时，锁定该空闲的计算节点，并将该空闲的计算节点信息通知给云计算管理系统。根据本专利技术第一方面的一个实施例中，所述云计算代理服务模块基于所述第一清理命令清理空闲的计算节点包括：结束所有的高性能计算作业进程；卸载高性能计算作业使用的分布式文件系统；设置防火墙策略，设置cgroup资源策略，以禁止高性能计算用户访问该空闲的计算节点；将该空闲的计算节点从高性能计算环境需要的服务切换到云计算环境需要的服务；从云计算管理系统获取云计算需要使用的分布式文件系统或存储资源的连接数据，挂载对应的文件系统或存储资源，并将连接信息反馈给云计算管理系统；创建虚拟交换机，并将该虚拟交换机信息返回给云计算管理系统。根据本专利技术第一方面的一个实施例中，所述云计算代理服务模块基于所述第二清理命令清理相应的计算节点包括：卸载云计算使用的分布式文件系统或存储资源；将该计算节点从云计算环境需要的服务切换到高性能计算环境需要的服务，并在成功后通知云计算管理系统以便云计算管理系统将该计算节点从云计算资源池中删除；挂载高性能计算需要的分布式文件系统；设置防火墙和cgroup资源策略，以允许高性能计算用户访问该计算节点；返回相应的信息给高性能计算调度系统以将该计算节点回收到高性能计算资源池中。本专利技术在第二方面为解决其技术问题所采用的技术方案是：提出一种高性能云计算混合计算系统及其方法的资源管理方法，其中所述系统包括高性能计算资源池和云计算资源池，所述高性能计算资源池包括高性能计算调度系统和由其管理的多个计算节点，所述云计算资源池包括云计算管理系统和由其管理的多个计算节点，所述方法包括如下步骤：S1、在所述高性能计算资源池的每一个计算节点中设置云计算代理服务模块，所述云计算代理服务模块同时与高性能计算调度系统和云计算管理系统连接；S2、在云计算管理系统监控到云计算资源池的资源不足时，由所述云计算管理系统向高性能计算调度系统发送节点资源申请，并根据高性能计算调度系统通知的空闲的计算节点信息向该空闲的计算节点的云计算代理服务模块发送第一清理命令以由所述云计算代理服务模块清理该空闲的计算节点并将其加入到云计算资源池；S3、在云计算管理系统监控到云计算资源池的资源冗余时，由所述云计算管理系统释放从高性能计算资源池申请到的一部分计算节点，并向待释放的计算节点的云计算代理服务模块发送第二清理命令以由所述云计算代理服务模块清理待释放的计算节点，然后由所述高性能计算调度系统根据所述云计算代理服务模块清理相应的计算节点后返回的信息将该清理后的计算节点回收到高性能计算资源池。根据本专利技术第二方面的一个实施例中，所述步骤S2进一步包括：由所述高性能计算调度系统将所述云计算管理系统发送的节点资源申请设置为最高优先级，当出现空闲的计算节点时，锁定该空闲的计算节点，并将该空闲的计算节点信息通知给云计算管理系统。根据本专利技术第二方面的一个实施例中，所述步骤S2中由所述云计算代理服务模块清理该空闲的计算节点进一步包括：结束所有的高性能计算作业进程；卸载高性能计算作业使用的分布式文件系统；设置防火墙策略，设置cgroup资源策略，以禁止高性能计算用户访问该空闲的计算节点；将该空闲的计算节点从高性能计算环境需要的服务切换到云计算环境需要的服务；从云计算管理系统获取云计算需要使用的分布式文件系统或存储资源的连接数据，挂载对应的文件系统或存储资源，并将连接信息反馈给云计算管理系统；创建虚拟交换机，并将该虚拟交换机信息返回给云计算管理系统。根据本专利技术第二方面的一个实施例中，所述步骤S2中通过判断当前云计算资源池中的剩余资源是否小于预设的资源剩余量阈值或判断当前云计算资源池中的剩余资源是否满足资源申请需求来监控资源是否不足。根据本专利技术第二方面的一个实施例中，所述步骤S3中由所述云计算代理服务模块清理待释放的计算节点进一步包括：卸载云计算使用的分布式文件系统或存储资源；将该计算节点从云计算环境需要的服务切换到高性能计算环境需要的服务，并在成功后通知云计算管理系统以便云计算管理系统将该计算节点从云计算资源池中删除；挂载高性能计算需要的分布式文件系统；设置防火墙和cgroup资源策略，以允许高性能计算用户访问该计算节点；返回相应的信息给高性能计算调度系统以将该计算节点回收到高性能计本文档来自技高网...

【技术保护点】
一种高性能云计算混合计算系统及其方法，包括高性能计算资源池和云计算资源池，所述高性能计算资源池包括高性能计算调度系统和由其管理的多个计算节点，所述云计算资源池包括云计算管理系统和由其管理的多个计算节点，其特征在于，所述高性能计算资源池中的计算节点均设有云计算代理服务模块，所述云计算代理服务模块同时与高性能计算调度系统和云计算管理系统连接；所述云计算管理系统在监控到资源不足时向高性能计算调度系统发送节点资源申请，并根据高性能计算调度系统通知的空闲的计算节点信息向该空闲的计算节点的云计算代理服务模块发送第一清理命令以由所述云计算代理服务模块清理该空闲的计算节点并将其加入到云计算资源池，以及在监控到资源冗余时释放从高性能计算资源池申请到的一部分计算节点，并向待释放的计算节点的云计算代理服务模块发送第二清理命令以由所述云计算代理服务模块清理待释放的计算节点；所述高性能计算调度系统基于云计算管理系统发送的节点资源申请调度空闲的计算节点并通知给云计算管理系统，以及根据所述云计算代理服务模块基于所述第二清理命令清理相应的计算节点后返回的信息将该清理后的计算节点回收到高性能计算资源池。

【技术特征摘要】
1.一种高性能云计算混合计算系统及其方法，包括高性能计算资源池和云计算资源池，所述高性能计算资源池包括高性能计算调度系统和由其管理的多个计算节点，所述云计算资源池包括云计算管理系统和由其管理的多个计算节点，其特征在于，所述高性能计算资源池中的计算节点均设有云计算代理服务模块，所述云计算代理服务模块同时与高性能计算调度系统和云计算管理系统连接；所述云计算管理系统在监控到资源不足时向高性能计算调度系统发送节点资源申请，并根据高性能计算调度系统通知的空闲的计算节点信息向该空闲的计算节点的云计算代理服务模块发送第一清理命令以由所述云计算代理服务模块清理该空闲的计算节点并将其加入到云计算资源池，以及在监控到资源冗余时释放从高性能计算资源池申请到的一部分计算节点，并向待释放的计算节点的云计算代理服务模块发送第二清理命令以由所述云计算代理服务模块清理待释放的计算节点；所述高性能计算调度系统基于云计算管理系统发送的节点资源申请调度空闲的计算节点并通知给云计算管理系统，以及根据所述云计算代理服务模块基于所述第二清理命令清理相应的计算节点后返回的信息将该清理后的计算节点回收到高性能计算资源池。2.根据权利要求1所述的系统，其特征在于，所述高性能计算调度系统基于云计算管理系统发送的节点资源申请调度空闲的计算节点并通知给云计算管理系统，进一步包括：将所述节点资源申请设置为最高优先级，当出现空闲的计算节点时，锁定该空闲的计算节点，并将该空闲的计算节点信息通知给云计算管理系统。3.根据权利要求1所述的系统，其特征在于，所述云计算代理服务模块基于所述第一清理命令清理空闲的计算节点包括：结束所有的高性能计算作业进程；卸载高性能计算作业使用的分布式文件系统；设置防火墙策略，设置cgroup资源策略，以禁止高性能计算用户访问该空闲的计算节点；将该空闲的计算节点从高性能计算环境需要的服务切换到云计算环境需要的服务；从云计算管理系统获取云计算需要使用的分布式文件系统或存储资源的连接数据，挂载对应的文件系统或存储资源，并将连接信息反馈给云计算管理系统；创建虚拟交换机，并将该虚拟交换机信息返回给云计算管理系统。4.根据权利要求1所述的系统，其特征在于，所述云计算代理服务模块基于所述第二清理命令清理相应的计算节点包括：卸载云计算使用的分布式文件系统或存储资源；将该计算节点从云计算环境需要的服务切换到高性能计算环境需要的服务，并在成功后通知云计算管理系统以便云计算管理系统将该计算节点从云计算资源池中删除；挂载高性能计算需要的分布式文件系统；设置防火墙和cgroup资源策略，以允许高性能计算用户访问该计算节点；返回相应的信息给高性能计算调度系统以将该计算节点回收到高性能计算资源池中。5.一种高性能云计算混合计算系统及其方法的资源管理方法，其中所述系统包括高性能计算资源池和云计算资源池，所述高性能计算资源池包括高性能计算调度系统和由其管理的多个计算节点，所述云计算资源池包括云计算管理系统和由其管理的多个计算节点，其特征在于，所述方法包括如下步骤：S1...

【专利技术属性】
技术研发人员：于欣，
申请(专利权)人：云神科技投资股份有限公司，
类型：发明
国别省市：江苏;32