【技术实现步骤摘要】
本公开涉及一种人工神经网络模型性能评估方法及使用该方法的系统。
技术介绍
1、人类拥有识别、分类、推理、预测和做出决策的智慧。人工智能(ai)试图模仿人类这种认知能力。人脑是许多神经细胞(称为神经元)的复杂网络。这些神经元中的每一个都通过突触与其他神经元形成数百甚至数千个连接。为了复制人类智能，已提出人工神经网络(ann)的概念。这涉及到使用层结构中连接的节点对生物神经元的功能原理及其互连进行建模。
技术实现思路
1、实施方案涉及一种人工神经网络(ann)系统。ann系统包括多个神经处理器、存储器和一个或多个操作处理器。神经处理器包括第一配置的第一神经处理器和与第一配置不同的第二配置的第二神经处理器。一个或多个操作处理器接收ann模型、包括用于实例化ann模型的第一神经处理器或第二神经处理器中至少一者的一个或多个神经处理器的第一选择，以及编译选项。一个或多个操作处理器通过根据编译选项编译ann模型，在第一选择的一个或多个神经处理器上实例化ann模型至少一层。一个或多个操作处理器通过第一选择的一个或多个神经处理器实例化ann模型至少一层，对一个或多个评估数据集执行处理，以及生成一个或多个第一性能参数，所述第一性能参数与通过第一选择的一个或多个神经处理器实例化ann模型至少一层，对一个或多个评估数据集的处理相关联。
2、在一个或多个实施方案中，ann系统进一步包括计算设备。计算设备包括一个或多个处理器，以及在其上存储指令的存储器。指令使一个或多个处理器经由网络从用户设备接收
3、在一个或多个实施方案中，指令使一个或多个处理器通过数据加密、差分隐私和数据屏蔽中的至少一者来保护一个或多个评估数据集。
4、在一个或多个实施方案中，编译选项包括使用量化算法、修剪算法、再训练算法、模型压缩算法、基于人工智能(ai)的模型优化算法，或知识提取算法中的至少一者进行选择来提高ann模型的性能。
5、在一个或多个实施方案中，至少第一神经处理器包括内部存储器和乘法累加器，并且其中指令进一步使一个或多个操作处理器基于第一配置自动设置编译选项中的至少一者。
6、在一个或多个实施方案中，指令进一步使一个或多个处理器使用第一选择的一个或多个神经处理器，确定ann模型中的至少另一层是否可操作。
7、在一个或多个实施方案中，指令进一步使一个或多个处理器响应于使用第一选择的一个或多个神经处理器确定ann模型中的至少另一层不可操作而生成错误报告。
8、在一个或多个实施方案中，ann系统进一步包括图形处理器，所述图形处理器用于处理使用选择的一个或多个神经处理器被确定为不可操作的ann模型中的至少另一层。
9、在一个或多个实施方案中，图形处理器进一步执行ann模型的再训练，以在第一选择的一个或多个神经处理器上进行实例化。
10、在一个或多个实施方案中，一个或多个第一性能参数包括第一选择的一个或多个神经处理器的温度分布、功耗、每秒每瓦的操作数、每秒帧(fps)、每秒推理(ips)，以及推理或预测的准确性中的至少一者。
11、在一个或多个实施方案中，一个或多个操作处理器接收：包括用于实例化ann模型的第一神经处理器或第二神经处理器中至少一者的一个或多个神经处理器的第二选择。一个或多个操作处理器通过编译ann模型在第二选择的一个或多个神经处理器上实例化ann模型至少一层；通过第二选择的一个或多个神经处理器实例化ann模型至少一层，对一个或多个评估数据集执行处理，以及生成一个或多个第二性能参数，所述第二性能参数与通过第二选择的一个或多个神经处理器实例化ann模型至少一层，对一个或多个评价数据集的处理相关联。
12、在一个或多个实施方案中，一个或多个操作处理器通过比较一个或多个第一性能参数和一个或多个第二性能参数来生成关于一个或多个神经处理器的第一选择或一个或多个神经处理器的第二选择的推荐，并将该推荐发送到用户终端。
13、在一个或多个实施方案中，接收到的编译选项表示多个预设选项中的一个，所述多个预设选项表示应用(i)训练后量化(ptq)、(ii)ann模型的逐层再训练和(iii)量化感知再训练(qat)的组合。
14、实施方案还涉及显示用于选择一个或多个神经处理器的选项，所述神经处理器包括第一配置的第一神经处理器和与第一配置不同的第二配置的第二神经处理器。从用户接收用于实例化人工神经网络(ann)模型至少一层的一个或多个神经处理器的第一选择。编译选项与用于实例化至少一层的ann模型的编译相关联。从用户接收对编译选项的第一选择。将第一选择、选择的编译选项和一个或多个评估数据集发送到耦合到一个或多个神经处理器的计算设备。接收一个或多个第一性能参数，所述第一性能参数与通过使用第一选择的编译选项，第一选择的一个或多个神经处理器实例化ann模型至少一层而对一个或多个评估数据集的处理相关联。显示一个或多个第一性能参数。
15、在一个或多个实施方案中，从用户接收对一个或多个神经处理器的第二选择和对编译选项的第二选择。一个或多个神经处理器的第二选择和选择的编译选项被发送到与一个或多个神经处理器耦合的计算设备。显示一个或多个第二性能参数，所述第二性能参数与通过使用第二选择的编译选项，第二选择的一个或多个神经处理器实例化ann模型至少一层而对一个或多个评估数据集的处理相关联。
16、在一个或多个实施方案中，接收并显示关于使用一个或多个神经处理器的第一选择或一个或多个神经处理器的第二选择的推荐。
本文档来自技高网...【技术保护点】
1.一种人工神经网络(ANN)系统，其包括：
2.根据权利要求1所述的ANN系统，其进一步包括计算设备，所述计算设备包括：
3.根据权利要求2所述的ANN系统，其中所述指令使所述一个或多个处理器通过数据加密、差分隐私和数据屏蔽中的至少一个来保护所述一个或多个评估数据集。
4.根据权利要求1所述的ANN系统，其中所述编译选项包括使用量化算法、修剪算法、再训练算法、模型压缩算法、基于人工智能(AI)的模型优化算法，或知识提取算法中的至少一者进行选择来提高所述ANN模型的性能。
5.根据权利要求1所述的ANN系统，其中至少所述第一神经处理器包括内部存储器和乘法累加器，并且其中所述指令进一步使得所述一个或多个操作处理器基于所述第一配置自动设置所述编译选项中的所述至少一者。
6.根据权利要求1所述的ANN系统，其中所述指令进一步使所述一个或多个处理器：
7.根据权利要求6所述的ANN系统，其中所述指令进一步使所述一个或多个处理器：
8.根据权利要求6所述的ANN系统，其进一步包括图形处理器，所述图形处理器被
9.根据权利要求8所述的ANN系统，其中所述图形处理器被进一步配置为执行所述ANN模型的再训练，以在所述第一选择的所述一个或多个神经处理器上实例化。
10.根据权利要求1所述的ANN系统，其中所述一个或多个第一性能参数包括所述第一选择的所述一个或多个神经处理器的以下中的至少一项：温度分布、功耗、每秒每瓦的操作数、每秒帧(FPS)、每秒推理(IPS)和推理或预测准确度。
11.根据权利要求1所述的ANN系统，其中指令进一步使得所述一个或多个操作处理器：
12.根据权利要求11所述的ANN系统，其中指令进一步使所述一个或多个操作处理器：
13.根据权利要求1所述的ANN系统，其中，接收到的所述编译选项表示多个预设选项中的一个，所述多个预设选项表示应用(i)训练后量化(PTQ)、(ii)所述ANN模型的逐层再训练和(iii)量化感知再训练(QAT)的组合。
14.一种方法，其包括：
15.根据权利要求14所述的方法，其进一步包括：
16.根据权利要求15所述的方法，其进一步包括：
17.根据权利要求14所述的方法，其中所述编译选项包括使用量化算法、修剪算法、再训练算法、模型压缩算法、基于人工智能(AI)的模型优化算法或知识提取算法中的至少一个进行选择来提高所述ANN模型的性能。
18.根据权利要求14所述的方法，其进一步包括基于所述第一配置或所述第二配置自动设置所述编译选项中的至少一个。
19.根据权利要求14所述的方法，其进一步包括：
20.根据权利要求14所述的方法，其进一步包括：
21.根据权利要求14所述的方法，其进一步包括：
22.根据权利要求14所述的方法，其中所述一个或多个第一性能参数包括所述第一选择的所述一个或多个神经处理器的以下中的至少一项：温度分布、功耗、每秒每瓦的操作数、每秒帧(FPS)、每秒推理(IPS)和推理或预测准确度。
23.根据权利要求14所述的方法，其进一步包括：
24.根据权利要求23所述的方法，其进一步包括：
25.根据权利要求14所述的方法，其中所述编译选项表示多个预设选项中的一个，所述多个预设选项表示应用(i)训练后量化(PTQ)、(ii)所述ANN模型的逐层再训练和(iii)量化感知再训练(QAT)的组合。
26.一种方法，其包括：
27.根据权利要求26所述的方法，其进一步包括：
28.根据权利要求27所述的方法，其进一步包括：
...【技术特征摘要】
1.一种人工神经网络(ann)系统，其包括：
2.根据权利要求1所述的ann系统，其进一步包括计算设备，所述计算设备包括：
3.根据权利要求2所述的ann系统，其中所述指令使所述一个或多个处理器通过数据加密、差分隐私和数据屏蔽中的至少一个来保护所述一个或多个评估数据集。
4.根据权利要求1所述的ann系统，其中所述编译选项包括使用量化算法、修剪算法、再训练算法、模型压缩算法、基于人工智能(ai)的模型优化算法，或知识提取算法中的至少一者进行选择来提高所述ann模型的性能。
5.根据权利要求1所述的ann系统，其中至少所述第一神经处理器包括内部存储器和乘法累加器，并且其中所述指令进一步使得所述一个或多个操作处理器基于所述第一配置自动设置所述编译选项中的所述至少一者。
6.根据权利要求1所述的ann系统，其中所述指令进一步使所述一个或多个处理器：
7.根据权利要求6所述的ann系统，其中所述指令进一步使所述一个或多个处理器：
8.根据权利要求6所述的ann系统，其进一步包括图形处理器，所述图形处理器被配置为处理所述ann模型中使用选择的所述一个或多个神经处理器被确定为不可操作的至少所述另一层。
9.根据权利要求8所述的ann系统，其中所述图形处理器被进一步配置为执行所述ann模型的再训练，以在所述第一选择的所述一个或多个神经处理器上实例化。
10.根据权利要求1所述的ann系统，其中所述一个或多个第一性能参数包括所述第一选择的所述一个或多个神经处理器的以下中的至少一项：温度分布、功耗、每秒每瓦的操作数、每秒帧(fps)、每秒推理(ips)和推理或预测准确度。
11.根据权利要求1所述的ann系统，其中指令进一步使得所述一个或多个操作处理器：
12.根据权利要求11所述的ann系统，其中指令进一步使所述一个或多个操...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。