训练用于图像识别的神经网络的方法和设备技术

公开了一种训练用于图像识别的神经网络的方法和设备。所述方法包括：接收输入图像集；以输入图像集为输入执行预训练的神经网络，以获取推断的结果值，并基于与输入图像集对应的预定结果值和推断的结果值获取预训练的神经网络的第一任务准确度；基于通道单元，通过基于预设学习权重并基于与预训练的神经网络的多个层中的每个的通道对应的逐通道修剪参数调整多个通道的节点之间的权重，来修剪神经网络；基于第一任务准确度和修剪后的神经网络的任务准确度更新学习权重；基于更新后的学习权重和修剪后的神经网络的任务准确度更新逐通道修剪参数；和基于通道单元，基于更新后的学习权重并基于更新后的逐通道修剪参数重新修剪修剪后的神经网络。剪修剪后的神经网络。剪修剪后的神经网络。

【技术实现步骤摘要】
训练用于图像识别的神经网络的方法和设备
[0001]本申请要求于2020年10月13日在韩国知识产权局提交的第10
‑
2020
‑
0132151号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。


[0002]下面的描述涉及训练用于图像识别的神经网络的方法和设备。

技术介绍

[0003]人工神经网络可以是计算架构。使用神经网络装置，输入数据可被分析并且有效信息可被提取。
[0004]人工神经网络装置可使用大的计算量来处理复杂的输入数据。随着人工神经网络的学习量增大，构成人工神经网络的连接性可能变得复杂。另外，旧学习数据的准确度增大，新数据的估计值的置信度可能降低。也就是说，过拟合(overfitting)问题可能发生。此外，人工神经网络的复杂度可能增大，存储器分配量可能相应地过度增大，这可能导致小型化和商业化方面的问题。

技术实现思路

[0005]提供本
技术实现思路
来以简化的形式介绍在以下具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确认要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
[0006]在一个总体方面，一种训练用于图像识别的神经网络的方法包括：接收输入图像集；以输入图像集为输入执行预训练的神经网络，以获取使用预训练的神经网络推断的结果值，并基于与输入图像集对应的预定结果值和使用预训练的神经网络推断的结果值获取预训练的神经网络的第一任务准确度；基于通道单元，通过基于预设学习权重并且基于与预训练的神经网络的多个层中的每个层的通道对应的逐通道修剪参数调整多个通道的节点之间的权重，来修剪神经网络；以输入图像集为输入执行修剪后的神经网络，以获取使用修剪后的神经网络推断的结果值，并基于预定结果值和使用修剪后的神经网络推断的结果值获取修剪后的神经网络的任务准确度；基于第一任务准确度和修剪后的神经网络的任务准确度来更新学习权重；基于更新后的学习权重和修剪后的神经网络的任务准确度来更新逐通道修剪参数；和基于通道单元，基于更新后的学习权重并且基于更新后的逐通道修剪参数来重新修剪修剪后的神经网络。
[0007]在一个总体方面，一种训练用于图像识别的神经网络的设备包括：处理器，处理器被配置为：接收输入图像集，以输入图像集为输入执行预训练的神经网络，以获取使用预训练的神经网络推断的结果值，并基于与输入图像集对应的预定结果值和使用预训练的神经网络推断的结果值获取预训练的神经网络的第一任务准确度，基于通道单元，通过基于预设学习权重并且基于与预训练的神经网络的多个层中的每个层的通道对应的逐通道修剪参数调整多个通道的节点之间的权重，来修剪神经网络，以输入图像集为输入执行修剪后
的神经网络，以获取使用修剪后的神经网络推断的结果值，并基于预定结果值和使用修剪后的神经网络推断的结果值获取修剪后的神经网络的任务准确度，基于第一任务准确度和修剪后的神经网络的任务准确度来更新学习权重，基于更新后的学习权重和修剪后的神经网络的任务准确度来更新逐通道修剪参数，和基于通道单元，基于更新后的学习权重并且基于更新后的逐通道修剪参数来重新修剪修剪后的神经网络。
[0008]在一个总体方面，一种训练用于图像识别的神经网络的方法包括：接收输入图像集；以输入图像集为输入执行预训练的神经网络，以获取使用预训练的神经网络推断的结果值，并基于与输入图像集对应的预定结果值和使用预训练的神经网络推断的结果值获取预训练的神经网络的第一准确度；针对预训练的神经网络的每个通道，基于所述通道的修剪参数和学习权重来修剪所述通道的权重；以输入图像集为输入执行修剪后的神经网络，以获取使用修剪后的神经网络推断的结果值，并基于预定结果值和使用修剪后的神经网络推断的结果值获取修剪后的神经网络的第二准确度；基于预训练的神经网络的第一准确度与修剪后的神经网络的第二准确度的比较来更新学习权重；针对每个通道，基于更新后的学习权重和第二准确度来更新所述通道的修剪参数；和针对每个通道，基于所述通道的更新后的修剪参数和更新后的学习权重来重新修剪所述通道的权重。
[0009]在一个总体方面，一种神经网络的训练方法包括：将预训练的神经网络存储在存储器中；通过处理器从存储器读取预训练的神经网络；通过处理器修剪预训练的神经网络；将修剪后的神经网络存储在存储器中，其中，通过处理器修剪预训练的神经网络的步骤包括：获取由预训练的神经网络处理的推断任务的第一任务准确度，基于通道单元，通过基于预设学习权重并且基于与预训练的神经网络的多个层中的每个层的通道对应的逐通道修剪参数调整多个通道的节点之间的权重，来修剪神经网络，基于第一任务准确度和修剪后的神经网络的任务准确度来更新学习权重，基于更新后的学习权重和修剪后的神经网络的任务准确度来更新逐通道修剪参数，和基于通道单元，基于更新后的学习权重并且基于更新后的逐通道修剪参数来重新修剪修剪后的神经网络。
[0010]在一个总体方面，一种神经网络的训练方法包括：将预训练的神经网络存储在存储器中；通过处理器从存储器读取预训练的神经网络；通过处理器修剪预训练的神经网络；将修剪后的神经网络存储在存储器中，其中，通过处理器修剪预训练的神经网络的步骤包括：针对预训练的神经网络的每个通道，基于所述通道的修剪参数和学习权重来修剪所述通道的权重；基于使用预训练的神经网络执行的推断的第一准确度与使用修剪后的神经网络执行的推断的第二准确度的比较来更新学习权重；针对每个通道，基于更新后的学习权重和第二准确度来更新所述通道的修剪参数；和针对每个通道，基于所述通道的更新后的修剪参数和更新后的学习权重来重新修剪所述通道的权重。
[0011]在一个总体方面，一种神经网络设备包括：处理器，处理器被配置为：获取由预训练的神经网络处理的推断任务的第一任务准确度；基于通道单元，通过基于预设学习权重并且基于与预训练的神经网络的多个层中的每个层的通道对应的逐通道修剪参数调整多个通道的节点之间的权重，来修剪神经网络；基于第一任务准确度和修剪后的神经网络的任务准确度来更新学习权重；基于更新后的学习权重和修剪后的神经网络的任务准确度来更新逐通道修剪参数；和基于通道单元，基于更新后的学习权重并且基于更新后的逐通道修剪参数来重新修剪修剪后的神经网络。
[0012]在一个总体方面，一种神经网络修剪方法包括：获取由预训练的神经网络处理的推断任务的第一任务准确度；基于通道单元，通过基于预设学习权重并且基于与预训练的神经网络的多个层中的每个层的通道对应的逐通道修剪参数调整多个通道的节点之间的权重来修剪神经网络；基于第一任务准确度和修剪后的神经网络的任务准确度来更新学习权重；基于更新后的学习权重和修剪后的神经网络的任务准确度来更新逐通道修剪参数；和基于通道单元，基于更新后的学习权重并且基于更新后的逐通道修剪参数来重新修剪修剪后的神经网络。
[0013]逐通道修剪参数可包括用于确定修剪阈值的第一参数。
[0014]修剪的步骤可包括：在所述多个通道之中，修剪所述多个通道之中的通道元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练用于图像识别的神经网络的方法，所述方法包括：接收输入图像集；以输入图像集为输入执行预训练的神经网络，以获取使用预训练的神经网络推断的结果值，并基于与输入图像集对应的预定结果值和使用预训练的神经网络推断的结果值获取预训练的神经网络的第一任务准确度；基于通道单元，通过基于预设学习权重并且基于与预训练的神经网络的多个层中的每个层的通道对应的逐通道修剪参数调整多个通道的节点之间的权重，来修剪神经网络；以输入图像集为输入执行修剪后的神经网络，以获取使用修剪后的神经网络推断的结果值，并基于预定结果值和使用修剪后的神经网络推断的结果值获取修剪后的神经网络的任务准确度；基于第一任务准确度和修剪后的神经网络的任务准确度来更新学习权重；基于更新后的学习权重和修剪后的神经网络的任务准确度来更新逐通道修剪参数；和基于通道单元，基于更新后的学习权重并且基于更新后的逐通道修剪参数来重新修剪修剪后的神经网络。2.根据权利要求1所述的方法，其中，逐通道修剪参数包括用于确定修剪阈值的第一参数。3.根据权利要求1所述的方法，其中，修剪的步骤包括：修剪所述多个通道之中的通道元素以阈值比率或更大的比率占据0的通道。4.根据权利要求1所述的方法，其中，更新学习权重的步骤包括：响应于修剪后的神经网络的任务准确度小于第一任务准确度，更新学习权重，使得修剪后的神经网络的任务准确度增大。5.根据权利要求1至权利要求4中的任意一项所述的方法，还包括：重复地执行确定重新修剪后的神经网络的任务准确度和重新修剪后的神经网络的学习权重的修剪
‑
评估操作。6.根据权利要求5所述的方法，还包括：基于预设回合和重新修剪后的神经网络的任务准确度来确定是否额外执行修剪
‑
评估操作。7.根据权利要求5所述的方法，还包括：响应于重复地执行修剪
‑
评估操作，将确定的学习权重与学习权重的下限阈值进行比较；和基于比较的结果，确定是否终止当前修剪会话并发起学习权重被设置为初始参考值的后续修剪会话。8.一种训练用于图像识别的神经网络的设备，所述设备包括：处理器，处理器被配置为：接收输入图像集，以输入图像集为输入执行预训练的神经网络，以获取使用预训练的神经网络推断的结果值，并基于与输入图像集对应的预定结果值和使用预训练的神经网络推断的结果值获取预训练的神经网络的第一任务准确度，基于通道单元，通过基于预设学习权重并且基于与预训练的神经网络的多个层中的每
个层的通道对应的逐通道修剪参数调整多个通道的节点之间的权重，来修剪神经网络，以输入图像集为输入执行修剪后的神经网络，以获取使用修剪后的神经网络推断的结果值，并基于预定结果值和使用修剪后的神经网络推断的结果值获取修剪后的神经网络的任务准确度，基于第一任务准确度和修剪后的神经网络的任务准确度来更新学习权重，基于更新后的学习权重和修剪后的神经网络的任务准确度来更新逐通道修剪参数，和基于通道单元，基于更新后的学习权重并且基于更新后的逐通道修剪参数来重新修剪修剪后的神经网络。9.根据权利要求8所述的设备，其中，逐通道修剪参数包括用于确定修剪阈值的第一参数。10.根据权利要求8所述的设备，其中，为了修剪，处理器被配置为：修剪所述多个通道之中的包括在通道中的通道元素以阈值比率或更大的比率占据0的通道。11.根据权利要求8所述的设备，其中，为了更新学习权重，处理器被配置为：响应于修剪后的神经网络的任务准确度小于第一任务准确度，更新学习权重，使得修剪后的神经网络的任务准确度增大。12.根据权利要求8至权利要求11中的任意一项所述的设备，其中，处理器被配置为：重复地执行确定重新修剪后的神经网络的任务准确度和重新修剪后的神经网络的学习权重的修剪
‑
评估操作。13.根据权利要求12所述的设备，其中，处理器被配置为：基于预设回合和重新修剪后的神经网络的任务准确度来确定是否额外执行修剪
‑
评估操作。14.根据权利要求12所述的设备，其中，处理器被配置为：响应于重复地执行修剪
‑
评估操作来将确定的学习权重与学习权重的下限阈值进行比较，并且基于比较的结果来确定是否终止当前修剪会话并发起学习权重被设置为初始参考值的后续修剪会话。15.根据权利要求8至权利...

【专利技术属性】
技术研发人员：李沅祚，吴荣敏，赵民炅，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：