一种面向高性能计算的计量计费系统及方法技术方案

本发明专利技术实施例公开了一种面向高性能计算的计量计费系统及方法。所述系统包括，计量统计、计费管理、基础管理、集群管理和数据采集模块。除了计量资源使用情况统计、资源定价、出具账单功能以外，还支持用户类型和用户组的管理以及根据用户类型设置价格折扣的定价管理；在本发明专利技术实施例中，系统解决了多集群的接入和计量问题，可接入基于多种类型调度系统的集群，具有非常高的可扩展性；另外，系统提供了超融合的管理架构，可以按需要将审计功能模块融合在计量系统中，以充分保障计量系统和集群的使用安全；并且可以直接从集群调度系统获取资源使用数据，数据更加详细全面，有利于对资源使用情况进行精准地计量。用情况进行精准地计量。用情况进行精准地计量。

【技术实现步骤摘要】
一种面向高性能计算的计量计费系统及方法


[0001]本专利技术涉及超算系统、云计算、云存储融合平台领域，尤其涉及一种面向高性能计算的计量计费系统及方法。

技术介绍

[0002]计量系统通过计量用户的资源使用情况,再结合资源定价，为用户提供科学详细的计费账单。因此计量系统的三个重要的基本功能就是：计量资源使用情况、资源定价、出具账单。
[0003]关于计量系统的工作主要涉及工程类，因此相关的工作主要是专利技术专利。现有的计量系统中公开了一种基于Torque的集群计量管理方法及系统，其中专利技术的集群计量管理系统，根据作业记录信息解析作业资源使用数据，并依据此数据对账单进行统计。此系统具备计量系统的基本三大功能，但只针对基于PBS Torque调度系统的集群，应用面不广。现有的计量方法中还公开了一种集群计算环境下计算资源的计量统计方法和系统。其中的计量系统，根据日志记录的任务信息获取用户的资源使用情况。除了具备基本的三大功能之外，该系统还增加了用户组功能，使得用户管理和计量更加灵活。但是这些专利的计量系统的资源使用计量数据来源于任务日志，但不是所有的集群都记录任务日志；其次，这些计量系统只是针对基于特定调度系统的集群，不具备可扩展性。

技术实现思路

[0004]针对上述问题，本专利技术实施例提供了一种面向高性能计算的计量计费系统及方法，直接从集群调度系统获取资源使用计量数据，数据详细全面，可细致到每个作业ID；另外，本专利技术公开的实施例对各种类型的调度系统友好，适用于多集群的接入，基于本方案设计的计量系统可接入基于slurm、Torque等调度系统的集群，具有非常高的可扩展性；同时，本专利技术公开的实施例还具备超融合的管理架构，可以按需要将审计功能模块融合在计量系统中，用以及时发现和追溯违规操作和异常行为，以充分保障计量系统和集群的使用安全；此外，本专利技术公开的实施例还设计了用户和用户组管理功能，用户可以根据需要加入和退出特定用户组，且计量系统可以根据用户和用户组进行计量计费和出具账单。
[0005]第一方面，本专利技术提供了一种面向高性能计算的计量计费系统，该面向高性能计算的计量计费系统包括：
[0006]集群管理模块，所述集群管理模块提供多种HPC集群的接入功能，用于对包括slurm和Torque调度系统的多个HPC集群进行添加/删除管理；
[0007]数据采集模块，所述数据采集模块采用松耦合模式，通过对HPC集群的作业元数据进行解析，得到用户的资源信息表，并将资源信息表存入系统的数据库中；
[0008]基础管理模块，所述基础管理模块包括用户组管理模块和消息管理模块；所述用户组管理模块用于对数据库中的用户配置信息表进行管理；提供加入和退出特定用户组的功能；所述消息管理模块用于向特用户组ID和用户ID推送消息并提供消息接收和消息查看
的功能；
[0009]计量统计模块，所述计量统计模块通过解析数据库中的资源信息表获得用户的计量数据，并根据用户配置信息表中的特定用户组ID从所述计量数据中确定特定用户组的第一数据；
[0010]计费管理模块，所述计费管理模块包括定价管理模块、账单管理模块、费用历史模块、计费类型管理模块；所述计费类型管理模块用于提供特定用户组的账户类型和折扣信息；所述定价管理模块用于制定特定用户组的计费标准，并将计费标准输入HPC集群中确定所述特定用户组的标准单价；所述账单管理模块根据特定用户组的账户类型、折扣信息、标准单价和第一数据确定所述特定用户组的第二数据，根据第二数据确定特定用户组的账单并提供用户的综合查询界面；所述费用历史模块用于记录所述特定用户组的消费日志信息；
[0011]通过消息管理模块根据特用户组ID和用户ID向指定用户推送包括第一数据、第二数据、账单和消费日志信息的消息；
[0012]根据不同需要，所述计量计费系统具有审计功能模块，所述审计功能模块包括向系统管理员提供系统审计、终端登录审计以及终端操作审计的功能。
[0013]在一些实施例中，资源信息表包括用户组ID、用户ID、作业ID、每个作业ID使用的资源量；所述每个作业ID使用的资源量包括CPU核数、GPU卡数以及CPU、GPU使用时长。
[0014]在一些实施例中，管理员将需要计费的用户组ID、用户ID添加到数据库的所述用户配置信息表中，和/或将需要计量计费的集群账号绑定到所述特定用户组中；其中，所述特定用户组包括多个用户个人的用户组或独立的用户个人。
[0015]在一些实施例中，对数据库中的用户配置信息表进行管理，包括：
[0016]将需要计费的用户组ID、用户ID添加到数据库的所述用户配置信息表中，和/或将需要计量计费的集群账号绑定到所述特定用户组的ID；其中，所述特定用户组包括多个用户个人的用户组或独立的用户个人。
[0017]在一些实施例中，特定用户组的计费标准，包括，根据队列定价、作业规模定价、其他费用定价制定特定用户组的计费标准。
[0018]在一些实施例中，特定用户组的综合查询界面，包括，显示特定用户组的费用统计总览、作业详单查询、生成月账单的界面。
[0019]在一些实施例中，系统的总体架构分为资源层、数据采集及存储层、业务逻辑层和接入层；
[0020]所述资源层包括，数据中心的各个HPC集群，以及需要资源计量计费的相关资源，为所述计量计费系统的管理对象；
[0021]所述数据采集及存储层包括，MySQL关系型数据库，通过定期收集所述计量计费系统的管理对象的计量信息汇总保存到数据库中，为计量计费系统提供数据支撑；所述采集对象包括HPC集群以及各个终端服务器；
[0022]所述业务逻辑层包括，向所述系统管理员提供用户组的管理和/或用户组绑定的集群账号和账户的管理的功能；向所述用户组提供计量数据和计费数据的信息推送和信息查看功能；向所述系统管理员提供定价规则管理、账单管理、费用历史以及计费类型管理的功能；向所述用户组提供账单查询的功能；
[0023]所述接入层包括，将所述业务逻辑层整合后的数据按逻辑划分为不同的功能模块，并将各功能统一集成在一起，并以Web的形式提供服务，管理员和用户组内成员可以通过web浏览器访问系统；所述接入层与所述业务逻辑层通过标准的HTTP协议进行请求与响应，与业务层提供的Restful接口、JSON或XML等标准格式的数据消息进行通信，降低与业务逻辑层的耦合，实现接入层的多套界面接入。
[0024]在一些实施例中，系统的分层架构为B/S应用架构，包括：
[0025]所述接入层采用React、Bootstrap、JQuery+HTML5架构；
[0026]所述业务逻辑层采用轻量级Java EE的SSH框架，其中：
[0027]Struts提供MVC分层架构，用于接入层支持和业务逻辑层的请求分发服务；Spring提供容器服务，用于降低模块之间耦合；
[0028]Hibernate提供数据持久层的封装，降低数据库使用难度和复杂度，简化数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向高性能计算的计量计费系统，其特征在于，所述计量计费系统包括：集群管理模块，所述集群管理模块提供多种HPC集群的接入功能，用于对包括slurm和Torque调度系统的多个HPC集群进行添加/删除管理；数据采集模块，所述数据采集模块采用松耦合模式，通过对HPC集群的作业元数据进行解析，得到用户的资源信息表，并将资源信息表存入系统的数据库中；基础管理模块，所述基础管理模块包括用户组管理模块和消息管理模块；所述用户组管理模块用于对数据库中的用户配置信息表进行管理；提供加入和退出特定用户组的功能；所述消息管理模块用于向特用户组ID和用户ID推送消息并提供消息接收和消息查看的功能；计量统计模块，所述计量统计模块通过解析数据库中的资源信息表获得用户的计量数据，并根据用户配置信息表中的特定用户组ID从所述计量数据中确定特定用户组的第一数据；计费管理模块，所述计费管理模块包括定价管理模块、账单管理模块、费用历史模块、计费类型管理模块；所述计费类型管理模块用于提供特定用户组的账户类型和折扣信息；所述定价管理模块用于制定特定用户组的计费标准，并将计费标准输入HPC集群中确定所述特定用户组的标准单价；所述账单管理模块根据特定用户组的账户类型、折扣信息、标准单价和第一数据确定所述特定用户组的第二数据，根据第二数据确定特定用户组的账单并提供用户的综合查询界面；所述费用历史模块用于记录所述特定用户组的消费日志信息；通过消息管理模块根据特用户组ID和用户ID向指定用户推送包括第一数据、第二数据、账单和消费日志信息的消息；根据不同需要，所述计量计费系统具有审计功能模块，所述审计功能模块包括向系统管理员提供系统审计、终端登录审计以及终端操作审计的功能。2.根据权利要求1所述的面向高性能计算的计量计费系统，其特征在于，所述资源信息表包括用户组ID、用户ID、作业ID、每个作业ID使用的资源量；所述每个作业ID使用的资源量包括CPU核数、GPU卡数以及CPU、GPU使用时长。3.根据权利要求1所述的面向高性能计算的计量计费系统，其特征在于，所述对数据库中的用户配置信息表进行管理，包括：将需要计费的用户组ID、用户ID添加到数据库的所述用户配置信息表中，和/或将需要计量计费的集群账号绑定到所述特定用户组的ID；其中，所述特定用户组包括多个用户个人的用户组或独立的用户个人。4.根据权利要求1所述的面向高性能计算的计量计费系统，其特征在于，所述特定用户组的计费标准，包括，根据队列定价、作业规模定价、其他费用定价制定特定用户组的计费标准。5.根据权利要求1所述的面向高性能计算的计量计费系统，其特征在于，所述用户的综合查询界面，包括，显示用户的费用统计总览、作业详单查询、生成月账单的界面。6.根据权利要求1所述的面向高性能计算的计量计费系统，其特征在于，所述系统的总体架构分为资源层、数据采集及存储层、业务逻辑层和接入层；...

【专利技术属性】
技术研发人员：张宏海，危婷，张蕾蕾，王妍，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：