一种基于运算特征差异性的深度学习基准测试集构建方法技术

本发明专利技术公开一种基于运算特征差异性的深度学习基准测试集构建方法，属于人工智能深度学习技术领域。本发明专利技术提取了算法模型的计算量与访存量作为特征向量，通过计算特征向量的余弦相似度去定量分析计算特征的差异性，这种差异性分析直接对应了基于深度学习加速器的性能特征的深度学习算法的计算密度，即计算量和访存量，因而能够更加科学准确地度量不同测试的运算特征相似性，进而保证准测试集构建的全面性与多样性。面性与多样性。面性与多样性。

【技术实现步骤摘要】
一种基于运算特征差异性的深度学习基准测试集构建方法


[0001]本专利技术属于人工智能深度学习
，具体涉及一种基于运算特征差异性的深度学习基准测试集构建方法。

技术介绍

[0002]近年来，人工智能加速发展，智能应用领域快速拓展，即将演进形成颠覆式科技变革，“智能化革命”正在孕育。深度学习作为当前人工智能技术的重要分支，在诸如图像识别、目标跟踪、语音处理等领域发挥着重要作用。为了加速深度学习算法与应用，越来越多的专用深度学习计算平台应运而生，而对于专用深度学习计算平台的测评研究开展相对滞后，缺乏公认的基准测试集与科学有效的基准测试集构建方法。
[0003]以MLPerf为代表的Benchmark构建原则是从不同的机器学习领域中挑选常用的算法模型作为测试程序，这种基准测试集构建方法缺乏定量分析，从而难以保证基准测试集构建的科学性、有效性。
[0004]BenchIP为了保证基准测试集构建的科学性与有效性，分析各个算法模型或单层网络测试程序间存在的运算特征差异。其具体做法如下：首先提取测试程序运算特征，包括计算与存储两类运算特征；对单层网络测试程序的运算特征差异性采用可视化的定性方法进行分析；对算法模型测试程序的运算特征差异性采用了计算数量这种运算特征的欧式距离来衡量。BenchIP采用对测试程序运算特征差异性的半定量分析，在一定程度上支撑了基准测试集构建的科学性与有效性，但是其分析方法没有充分考虑深度学习算法的运算需求与深度学习加速器的性能特征，缺乏具体且有效的运算特征差异性定量分析方法支撑基准测试集的开发。

技术实现思路

[0005]本专利技术的目的是提出一种基于运算特征差异性的深度学习基准测试集构建方法，综合考虑深度学习算法的运算需求与深度学习加速器的性能特征，利用测试程序的运算特征差异性的定量分析，支持构建具有全面性与多样性的深度学习基准测试集。
[0006]为达到上述目的，本专利技术的技术方案如下：
[0007]一种基于运算特征相似性的深度学习基准测试集构建方法，包括两类深度学习测试，一类是完整的算法模型测试，另一类是算法模型中的单层网络测试，深度学习基准测试集构建包括如下步骤：
[0008]步骤1、基于运算特征相似性的完整算法模型测试
[0009]1.1对于深度学习网络算法模型，从语音识别、图像处理、目标跟踪这些不同的应用领域中，依据出现频次或引用率收集工业与学术界习惯使用的深度网络算法网络模型，并按照应用领域进行分类作为候选测试模型；
[0010]1.2按照应用领域分类提取各个候选测试模型的计算量与访存量两项静态指标，作为该候选测试模型的特征向量，即对某一候选模型i，其特征向量
[0011]1.3对于每一个应用领域分类，按应用需求选择任一候选网络算法模型作为参照模型，其他的候选测试模型与该参照模型计算余弦相似性，从而得出各个候选模型的运算特征的相似性，计算公式如下，对于候选模型与参照模型对应的特征向量为则其余弦相似度公式如下：
[0012]1.4对于每一个应用领域分类，设置运算特征相似度阈值，筛选超过阈值的算法模型作为基准测试模型；
[0013]步骤2、基于运算特征相似性的单层网络测试
[0014]2.1对于单层网络测试，根据1.1收集的习惯使用的深度网络算法网络模型，提取出单层网络以及对应的不同超参数配置作为候选的测试，按照不同的单层网络算子类型分类；
[0015]2.2按照不同的单层网络算子分类中的各个候选测试的计算量与访存量两项静态指标，作为该候选测试的特征向量，即对于某一候选程序i，其特征向量
[0016]2.3对于每一个单层网络算子分类，以按应用需求选择任一常用的单层网络程序作为参照程序，其他的候选测试程序与该参照程序计算余弦相似性，从而得出各个候选程序的运算特征的相似性，计算公式如下，对于候选测试程序与参照程序对应的特征向量为则其余弦相似度公式如下：
[0017]2.4对于某一单层网络算子分类，设置运算特征相似度阈值，筛选超过阈值的单层网络模型作为基准测试程序。
[0018]进一步的，步骤1.2、步骤2.2中计算量与访存量采用开源工具进行计算，或者按照每层网络算子及参数量进行计算。
[0019]进一步的，步骤1.1中收集工业与学术界习惯使用的深度网络算法网络模型，对于学术界参考CVPR、EMNLP、ICML、ICRA、NIPS这些学术会议中近5年引用排名靠前的算法模型，对于工业界参考计算机视觉、自然语言处理以及机器学习等社区中出现频率较高的算法模型。
[0020]本专利技术的有效收益：
[0021]1、本专利技术提供了一种定量分析解释深度学习基准测试程序的构建原则，从而能够保证准测试集构建的全面性与多样性。
[0022]2、本专利技术提取了算法模型的计算量与访存量作为特征向量，通过计算特征向量的余弦相似度去定量分析计算特征的差异性，这种差异性分析直接对应了基于深度学习加速器的性能特征的深度学习算法的计算密度(计算量/访存量)，因而能够更加科学准确地度量不同测试的运算特征相似性，进而保证准测试集构建的全面性与多样性。
附图说明
[0023]图1为本专利技术实现过程流程示意图。
具体实施方式
[0024]本专利技术的一种基于运算特征相似性的深度学习基准测试集构建方法，其核心思想是利用深度学习算法模型或单层网络的运算特征作为构建深度学习基准测试集的依据，通过对每个深度学习算法模型或单层网络的运算特征向量的相关性进行定量分析，将运算特征差异大的深度学习算法模型或单层网络作为基准测试集，从而保证了基准测试集构建的科学性、全面性与多样性。
[0025]本专利技术提取深度学习算法模型的静态运算特征中计算量与访存量两项指标，作为特征向量，通过分析计算每个深度学习算法模型特征向量的余弦相似度，判断不同算法模型的差异性，从而支撑基准测试集的全面性与多样性。
[0026]一方面，深度学习基准测试集的构建原则需保证科学性、多样性与全面性。另一方面，深度学习基准测试集的计算特征具有很大差异，且这些差异会深刻影响着深度学习处理器的性能。因此，我们采用了深度学习基准集的运算特征差异作为定量选择基准测试程序的依据，从而能够保证深度学习基准测试集构建的科学性、多样性与全面性。
[0027]为了定量计算深度学习测试程序的运算特征差异，选择计算量与访存量这两个静态的运算特征指标作为计算深度学习基准测试集的运算特征向量，然后选用余弦相似性分析每个深度学习测试的运算特征差异，从而作为深度学习基准测试集的构建依据。选用余弦相似性的定量分析方法，主要的原因在于深度学习处理器一般具有的两种运算瓶颈：即计算瓶颈与访存瓶颈，而深度学习测试的计算密度(计算密度＝计算量/访存量)能够判断深度学习处理器当前处于何种运算瓶颈，而深度学习测试的计算密度的差异就是以计算量和访存量作为特征向量的余弦相似性的数值。因此，本专利技术创新性的提出采用计算量与访存量这两个静态的运算特征指标作为计算深度学习基准测试本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于运算特征相似性的深度学习基准测试集构建方法，其特征在于，包括两类深度学习测试，一类是完整的算法模型测试，另一类是算法模型中的单层网络测试，深度学习基准测试集构建包括如下步骤：步骤1、基于运算特征相似性的完整算法模型测试1.1对于深度学习网络算法模型，从语音识别、图像处理、目标跟踪这些不同的应用领域中，依据出现频次或引用率收集工业与学术界习惯使用的深度网络算法网络模型，并按照应用领域进行分类作为候选测试模型；1.2按照应用领域分类提取各个候选测试模型的计算量与访存量两项静态指标，作为该候选测试模型的特征向量，即对某一候选模型i，其特征向量1.3对于每一个应用领域分类，按应用需求选择任一候选网络算法模型作为参照模型，其他的候选测试模型与该参照模型计算余弦相似性，从而得出各个候选模型的运算特征的相似性，计算公式如下，对于候选模型与参照模型对应的特征向量为则其余弦相似度公式如下：1.4对于每一个应用领域分类，设置运算特征相似度阈值，筛选超过阈值的算法模型作为基准测试模型；步骤2、基于运算特征相似性的单层网络测试2.1对于单层网络测试，根据1.1收集的习惯使用的深度网络算法网络模型，提取出单层网络以及对应的不同超参数配置作为候选的测试，按照不同的单层网络算子类型分类；2.2按照不同的单层网络算子分类中的各个候选测试的计算量与访存量两项静态指标，...

【专利技术属性】
技术研发人员：吕昭，汪淼，邓锦洲，葛亚维，徐秦，
申请(专利权)人：中国人民解放军军事科学院战略评估咨询中心，
类型：发明
国别省市：