本发明专利技术公开了一种表征高性能计算应用特征的方法和装置，所述方法包括：当节点运行待表征应用程序时，实时监控所述待表征应用程序的运行特征参数；收集所有运行所述待表征应用程序的节点上监控到的运行特征参数；对收集到的运行特征参数进行第一统计处理得到代表所有运行特征参数的第一运行特征参数，根据预先设置的参照标准，对所述第一运行特征参数进行第二统计处理，得到表征结果。所述表征高性能计算应用特征的装置，包括监控模块，收集模块和处理模块。本发明专利技术简单、实用，能够快速、高效、直观地反映高性能计算领域应用软件的运行特征，从而迅速、精确的定位应用程序对高性能计算硬件资源的需求量，最大限度的发挥应用程序的性能。
【技术实现步骤摘要】
本专利技术涉及高性能计算领域,具体涉及一种表征高性能计算(High PerformanceComputing,简称HPC)应用特征的方法和装置。
技术介绍
随着人类社会的不断进步，科学技术的发展，人们不但对自然界的认识越来越广泛，而且对未知世界探索的需求也越来越迫切。这就使得人类掌握的信息数据的量急剧性的增长，而与此同时，这些海量的信息数据都需要及时的分析和处理。例如，一个大型天文射电望远镜阵列一秒钟就能产生100GB (千兆)以上的宇宙微波数据，这些数据都需要及时得到分析；再如，在粒子物理研究领域，一台大型强子对撞机一次对撞的数据也是以TB (太字节)为单位来计量的；此外，像人类基因组工程、石油勘探、天气预报等等领域也对计算能力提出了越来越高的要求。在这种大背景下数值计算已然成为了除实验、理论分析之外的第三种极其重要的科学探索手段。正是基于这样的现实，促使了当今世界各个科技强国都在不遗余力的大力发展超级计算机。如，在2012年6月发布的世界T0P500中，排名第一的IBM “红杉(Sequoia)”就已经达到了 20PFlops (千万亿次浮点指令/秒)的峰值速度，而与此同时新的百亿亿次超级计算机也已经在研究和规划之中了。总的来说，基本上每十年，超级计算机的速度就提升三个量级(1000倍)，因此建造超级计算机的能力已经成为一个国家科技水平和综合国力的一个有力体现。虽然超级计算机发展的速度是惊人的，也令人欣慰，但很遗憾的是与之相配套的软件技术却裹足不前，这已经严重的制约了超级计算机应用能力的发挥。现在绝大多数的应用软件所基于的基本原理和数学算法，还是上世纪50 60年代提出和发展起来的，这些算法与当时的大型机是完全匹配和适应的，以串行或少量进程间并行为主。但经过50多年的发展，现在的超级计算机体系结构已经发生了翻天覆地的变化，动辄拥有几十万乃至上百万的CPU核，而且还有相当一部分超级计算机是使用的混合异构的体系架构，如CPU+GPU(Graphic Processing Unit,图形处`理器)，或者 CPU+MIC (Many Integrated Core,集成众核)等，这就使得早期的物理模型和数学算法力不从心、无法胜任。这就是现在绝大多数的应用软件效率低下、可扩展性差的主要原因。要破解现在的这些难题，一方面，应该大力研究和发展新的与现今超级计算机体系结构相匹配的物理模型和数学算法，这是突破现有瓶颈的终极手段，但这毕竟是一项极其困难的课题，无法在短时间内见到成效并实现大规模应用；另一方面，应着手研究现在所继承下来的、海量的应用软件，合理的表征它们的运行特征，找出它们的性能瓶颈，最大限度的在现有平台上发挥这些应用的性能，此外还能为应用性能的改进和突破提供有力的依据。因此，如何合理、科学的表征应用的特征就是亟待解决的问题。
技术实现思路
本专利技术要解决的技术问题是提供一种表征高性能计算应用特征的方法和装置。为解决上述技术问题，本专利技术提供了一种表征高性能计算应用特征的方法，包括:当节点运行待表征应用程序时，实时监控所述待表征应用程序的运行特征参数；收集所有运行所述待表征应用程序的节点上监控到的运行特征参数；对收集到的运行特征参数进行第一统计处理得到代表所有运行特征参数的第一运行特征参数，根据预先设置的参照标准，对所述第一运行特征参数进行第二统计处理，得到表征结果。进一步地，所述运行特征参数包括以下参数中的一种或多种:CPU使用率、内存占用量、实时输入输出带宽、网络吞吐、一级缓存缺失、二级缓存缺失、三级缓存缺失、一级缓存命中、二级缓存命中、三级缓存命中、实时浮点速度、CPU向量化率、CPU CPI指标、实时内存带宽、实时网络带宽、数据包的大小。进一步地，所述对收集到的运行特征参数进行第一统计处理得到代表所有运行特征参数的第一运行特征参数，包括:计算所述收集到的运行特征参数的平均值或方差值，将计算后的结果作为第一运行特征参数；或者从所述收集到的运行特征参数中选取最大值或最小值，将所述最大值或最小值作为第一运行特征参数。进一步地，所述根据预先设置的参照标准，对所述第一运行特征参数进行第二统计处理，得到表征结果，包括 :计算所述第一运行特征参数与所述参照标准的比值，将所述比值作为表征结果；或者将符合参照标准的第一运行特征参数作为表征结果。进一步地，所述方法还包括:根据收集到的运行特征参数判断待表征应用程序所属的类型，当收集到的运行特征参数符合计算密集型应用的参数阈值，则判断所述待表征应用为计算密集型应用；当收集到的运行特征参数符合内存约束型应用的参数阈值，则判断所述待表征应用为内存约束型应用；当收集到的运行特征参数符合输入输出密集型应用的参数阈值，则判断所述待表征应用为输入输出密集型应用；当收集到的运行特征参数符合网络密集型应用的参数阈值，则判断所述待表征应用为网络密集型应用。进一步地，所述计算密集型应用的参数阈值包括以下参数中一种或多种:CPU实时浮点速度平均值、CPU实测浮点速度峰值、CPU平均负载、CPU运行时间百分比；所述内存约束型应用的参数阈值包括以下参数中一种或多种:内存容量、内存平均带宽、内存峰值带宽；所述输入输出密集型应用的参数阈值包括以下参数中一种或多种:存储数据大小、输入输出平均带宽、输入输出峰值带宽、输入输出时间百分比；所述网络密集型应用的参数阈值包括以下参数中一种或多种:峰值网络流量、平均网络流量。为解决上述技术问题，本专利技术还提供了一种表征高性能计算应用特征的装置，包括监控模块，收集模块和处理模块，其中:所述监控模块，用于在节点运行待表征应用程序时，实时监控所述待表征应用程序的运行特征参数；所述收集模块，用于收集所有运行所述待表征应用程序的节点上监控到的运行特征参数；所述处理模块，用于对所述收集模块收集到的运行特征参数进行第一统计处理得到代表所有运行特征参数的第一运行特征参数，根据预先设置的参照标准，对所述第一运行特征参数进行第二统计处理，得到表征结果。进一步地，所述运行特征参数包括以下参数中的一种或多种:CPU使用率、内存占用量、实时输入输出带宽、网络吞吐、一级缓存缺失、二级缓存缺失、三级缓存缺失、一级缓存命中、二级缓存命中、三级缓存命中、实时浮点速度、CPU向量化率、CPU CPI指标、实时内存带宽、实时网络带宽、数据包的大小。进一步地，所述处理模块对所述收集模块收集到的运行特征参数进行第一统计处理得到代表所有运行特征参数的第一运行特征参数，包括:所述处理模块计算所述收集到的运行特征参数的平均值或方差值，将计算后的结果作为第一运行特征参数；或者所述处理模块从所述收集到的运行特征参数中选取最大值或最小值，将所述最大值或最小值作为第一运行特征参数。进一步地，所述处理模块根据预先设置的参照标准，对所述第一运行特征参数进行第二统计处理，得到表征结果，包括:所述处理模块计算所述第一运行特征参数与所述参照标准的比值，将所述比值作为表征结果；或者所述处理模块·将符合参照标准的第一运行特征参数作为表征结果。进一步地，所述装置还包括类型区分模块，用于根据所述收集模块收集到的运行特征参数判断待表征应用程序所属的类型，当收集到的运行特征参数符合计算密集型应用的参数阈值，则判断所述待表征应用为计算密集本文档来自技高网...
【技术保护点】
一种表征高性能计算应用特征的方法，其特征在于，所述方法包括：当节点运行待表征应用程序时，实时监控所述待表征应用程序的运行特征参数；收集所有运行所述待表征应用程序的节点上监控到的运行特征参数；对收集到的运行特征参数进行第一统计处理得到代表所有运行特征参数的第一运行特征参数，根据预先设置的参照标准，对所述第一运行特征参数进行第二统计处理，得到表征结果。
【技术特征摘要】
【专利技术属性】
技术研发人员：刘羽，金莲，吕文静，于涛，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。