System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于全集基准测试神经网络模型的性能的方法及设备技术_技高网

基于全集基准测试神经网络模型的性能的方法及设备技术

技术编号:41280885 阅读:11 留言:0更新日期:2024-05-11 09:31
本披露涉及基于全集基准测试神经网络模型的性能的方法及设备,其中本披露的计算装置与处理装置包括在集成电路装置中,该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互,共同完成用户指定的计算操作。集成电路装置还可以包括存储装置,存储装置分别与计算装置和其他处理装置连接,用于计算装置和其他处理装置的数据存储。

【技术实现步骤摘要】

本披露一般地涉及神经网络领域。更具体地,本披露涉及基于全集基准测试神经网络模型的性能的方法、计算机可读存储介质、计算机程序产品、计算机装置、处理装置、集成电路装置及板卡。


技术介绍

1、深度学习是机器学习领域中一个分支,其学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。深度学习是一个复杂的机器学习算法,在语音和图像识别领域具有良好的效果。

2、深度学习都是由代码来控制执行的,在代码完成后,便需要进行编译,从源语言编写的源程序转换目标程序,编译器或编译程序将源程序翻译成目标程序的工作过程分为五个阶段:词法分析、语法分析、语义检查和中间代码生成、代码优化、目标代码生成。

3、在代码优化的阶段中,会针对神经网络与人工智能加速器的性能进行预测和验证,一般都是引入全集基准(benchmark),作为测试集输入以判断性能是否符合预期。现有的方式是利用高级语言建模仿真,或是借助如verilog或rtl等电子设计自动化工具(electronic design automation,eda)仿真,对全集基准进行遍历,从而发现性能问题。然而,全集基准中的案例数量有时候会达万亿级别,导致现有的遍历操作过于耗时,即便根据经验裁剪全集基准,也可能会漏测部分性能。

4、有鉴于此,亟需提供一种测试神经网络模型的性能的方案,在提升性能预测和性能验证的速度的同时,还兼顾检测全面性。


技术实现思路

1、为了至少解决如上所提到的一个或多个技术问题,本披露在多个方面中提出了基于全集基准测试神经网络模型的性能的方法、计算机可读存储介质、计算机程序产品、计算机装置、处理装置、集成电路装置及板卡。

2、在第一方面中,本披露提供一种基于全集基准测试神经网络模型的性能的方法,包括:采样全集基准,以生成子集基准,其中子集基准的规模小于全集基准的规模;基于子集基准,分析神经网络模型,以生成流图;分别置入初始节点与结束节点至流图中,以生成待解析流图;编码待解析流图,以独立生成边特征矩阵;将边特征矩阵导入至神经网络模型,以获得流图的性能;判断流图的性能是否达到预期;如是,则测试成功。

3、在第二方面中,本披露提供一种计算机可读存储介质,其上存储有基于全集基准测试神经网络模型的性能的计算机程序代码,当计算机程序代码由处理装置运行时,执行上述的方法。

4、在第三方面中,本披露提供一种计算机程序产品,包括基于全集基准测试神经网络模型的性能的计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述方法的步骤。

5、在第四方面中,本披露提供一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现上述方法的步骤。

6、在第五方面中,本披露提供一种基于全集基准测试神经网络模型的性能的处理装置,包括:采样模块、分析模块、置入模块、编码模块、导入模块和判断模块。采样模块用以采样全集基准,以生成子集基准,其中子集基准的规模小于全集基准的规模;分析模块用以基于子集基准,分析神经网络模型,以生成流图;置入模块用以分别置入初始节点与结束节点至流图中,以生成待解析流图;编码模块用以编码待解析流图,以独立生成边特征矩阵;导入模块用以将边特征矩阵导入至神经网络模型,以获得流图的性能;判断模块用以判断流图的性能是否达到预期,如是,则测试成功。

7、在第六方面中,本披露提供一种集成电路装置,包括根据上述的处理装置。

8、在第七方面中,本披露提供一种板卡,包括根据上述的集成电路装置。

9、本披露通过生成规模小于全集基准的子集基准,以高效地提升性能预测和性能验证的速度。不仅如此,本披露还独立生成相对应多个特征矩阵,特别是边特征矩阵。由于独立考虑到边的特征,使得在编译过程中编码更容易,同时提升优化能力。

本文档来自技高网...

【技术保护点】

1.一种基于全集基准测试神经网络模型的性能的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其中所述全集基准的案例为线性排列,在所述采样步骤中对所述案例进行等间隔采样。

3.根据权利要求1所述的方法,其中所述全集基准的案例为随机排列,在所述采样步骤中对所述案例随机采样。

4.根据权利要求1所述的方法,其中所述子集基准的规模不大于所述全集基准的规模的50%。

5.根据权利要求4所述的方法,其中所述子集基准的规模为所述全集基准的规模的10%。

6.根据权利要求1所述的方法,其中如所述流图的性能未达到预期,所述方法还包括:

7.根据权利要求1所述的方法,其中如所述流图的性能未达到预期,所述方法还包括:

8.根据权利要求1所述的方法,其中如所述流图的性能未达到预期,所述方法还包括:

9.根据权利要求1所述的方法,其中所述编码步骤还独立生成点特征矩阵,所述点特征矩阵定义所述待解析流图的基本块,所述边特征矩阵定义所述基本块的输入输出。

10.根据权利要求9所述的方法,其中所述初始节点为虚拟基本块,所述点特征矩阵载有所述虚拟基本块的信息,所述边特征矩阵载有所述虚拟基本块的输出信息。

11.根据权利要求10所述的方法,其中所述初始节点的所有输出为所述流图的所有输入。

12.根据权利要求9所述的方法,其中所述结束节点为虚拟基本块,所述点特征矩阵载有所述虚拟基本块的信息,所述边特征矩阵载有所述虚拟基本块的输入信息。

13.根据权利要求12所述的方法,其中所述结束节点的所有输入为所述流图的所有输出。

14.根据权利要求9所述的方法,其中所述点特征矩阵载有所述基本块的算子信息及运行所述基本块的硬件配置信息。

15.根据权利要求9所述的方法,其中所述边特征矩阵载有输入张量或输出张量的信息。

16.根据权利要求9所述的方法,其中所述编码步骤还独立生成连接特征矩阵,所述连接特征矩阵定义所述基本块的连接关系,所述连接关系在所述连接特征矩阵的排序对应至所述输入输出在所述边特征矩阵的排序。

17.根据权利要求16所述的方法,还包括:

18.根据权利要求17所述的方法,其中所述降维步骤分别对所述点特征矩阵及所述边特征矩阵进行全连接卷积运算与ReLU函数激活运算。

19.根据权利要求17所述的方法,其中所述聚合步骤执行连续滤波卷积运算,所述连续滤波卷积运算用于聚集所述点降维矩阵及边降维矩阵的图神经网络结构。

20.根据权利要求19所述的方法,其中所述聚合步骤包括:

21.一种计算机可读存储介质,其上存储有基于全集基准测试神经网络模型的性能的计算机程序代码,当所述计算机程序代码由处理装置运行时,执行权利要求1至20任一项所述的方法。

22.一种计算机程序产品,包括基于全集基准测试神经网络模型的性能的计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至20任一项所述方法的步骤。

23.一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1至20任一项所述方法的步骤。

24.一种基于全集基准测试神经网络模型的性能的处理装置,其特征在于,所述处理装置包括:

25.一种集成电路装置,包括根据权利要求24所述的处理装置。

26.一种板卡,包括根据权利要求25所述的集成电路装置。

...

【技术特征摘要】

1.一种基于全集基准测试神经网络模型的性能的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其中所述全集基准的案例为线性排列,在所述采样步骤中对所述案例进行等间隔采样。

3.根据权利要求1所述的方法,其中所述全集基准的案例为随机排列,在所述采样步骤中对所述案例随机采样。

4.根据权利要求1所述的方法,其中所述子集基准的规模不大于所述全集基准的规模的50%。

5.根据权利要求4所述的方法,其中所述子集基准的规模为所述全集基准的规模的10%。

6.根据权利要求1所述的方法,其中如所述流图的性能未达到预期,所述方法还包括:

7.根据权利要求1所述的方法,其中如所述流图的性能未达到预期,所述方法还包括:

8.根据权利要求1所述的方法,其中如所述流图的性能未达到预期,所述方法还包括:

9.根据权利要求1所述的方法,其中所述编码步骤还独立生成点特征矩阵,所述点特征矩阵定义所述待解析流图的基本块,所述边特征矩阵定义所述基本块的输入输出。

10.根据权利要求9所述的方法,其中所述初始节点为虚拟基本块,所述点特征矩阵载有所述虚拟基本块的信息,所述边特征矩阵载有所述虚拟基本块的输出信息。

11.根据权利要求10所述的方法,其中所述初始节点的所有输出为所述流图的所有输入。

12.根据权利要求9所述的方法,其中所述结束节点为虚拟基本块,所述点特征矩阵载有所述虚拟基本块的信息,所述边特征矩阵载有所述虚拟基本块的输入信息。

13.根据权利要求12所述的方法,其中所述结束节点的所有输入为所述流图的所有输出。

14.根据权利要求9所述的方法,其中所述点特征矩阵载有所述基本块...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名
申请(专利权)人:寒武纪西安集成电路有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1