神经网络目标检测方法、装置、介质和嵌入式电子设备制造方法及图纸

本申请提供一种神经网络目标检测方法、装置、介质和嵌入式电子设备，应用于人工智能技术领域，其中目标检测方法包括：将单通道图像下采样拓展为多通道图像；基于神经网络的卷积网络对多通道图像形成初步特征层；基于特征金字塔网络对初步特征层进行特征语义融合后获得输出特征层。通过将单通道数据形成多通道数据，既可以降低处理数据量，又能够减少卷积处理层数量，有利于嵌入式设备部署应用神经网络模型。模型。模型。

【技术实现步骤摘要】
神经网络目标检测方法、装置、介质和嵌入式电子设备


[0001]本申请涉及人工智能
，具体涉及一种神经网络目标检测方法、装置、介质和嵌入式电子设备。

技术介绍

[0002]随着计算机、微电子、人工智能、物联网等技术的发展，基于低功耗嵌入式平台的AIoT(人工智能物联网，Artificial Intelligence&Internet of Things)终端、移动终端等基于嵌入式平台架构的设备，对智能化水平要求越来越高。虽然目标检测与识别已成为人工智能技术应用的主要方向之一，但现有基于神经网络算法的目标检测识别算法通常部署应用在具有强大计算资源和算力的应用平台，却难以在带宽有限、算力紧张的低功耗嵌入式平台进行部署。因此，目标检测识别技术向微小化、超低功耗化的发展进程受到阻碍。

技术实现思路

[0003]有鉴于此，本说明书实施例提供一种数据处理及目标检测方法、装置、介质和嵌入式电子设备，通过将单通道数据形成多通道数据，既可以降低处理数据量，又能够减少卷积处理层数量，有利于嵌入式设备部署应用神经网络模型。
[0004]本说明书实施例提供以下技术方案：
[0005]本说明书实施例提供一种神经网络目标检测方法，包括：
[0006]将单通道图像下采样拓展为多通道图像，其中单通道图像拓展的通道数对应于神经网络输入层所需的输入通道数，下采样的单元窗中采样像素的数量与通道数相同，以及在每次下采样中，将单元窗的采样像素依次采样至对应的多通道图像中；
[0007]基于所述神经网络的卷积网络对所述多通道图像形成初步特征层；
[0008]基于特征金字塔网络对初步特征层进行特征语义融合后获得输出特征层，所述输出特征层用于目标检测。
[0009]优选地，将单通道图像下采样拓展为多通道图像包括：自单通道图像的左上角开始，采用第一单元窗按预设第一滑窗步长进行滑窗遍历，并在每次滑窗遍历中，当前第一单元窗中的采样像素分别采样至对应的多通道图像；
[0010]其中，单通道图像拓展后的通道数与单元窗尺寸满足以下关系：C_in＝w
×
h，w
×
h为单元窗的尺寸，w为单元窗的宽，h为单元窗的高，C_in为单通道图像拓展后的通道数。
[0011]优选地，将单通道图像下采样拓展为多通道图像包括：自单通道图像的左上角开始，基于预设第二滑窗步长和预设第二单元窗，将单通道图像划分为若干第一单元格，并按像素坐标将每个所述第一单元格的像素采样至对应的多通道图像中。
[0012]优选地，特征金字塔网络包括第一特征金字塔、第一横向连接层和第二特征金字塔；
[0013]其中，神经网络对多通道图像进行卷积得到的初步特征层作为第一特征金字塔，其中第一特征金字塔至少包含两层卷积特征层，且在自下向上的方向上，相邻两特征层中
的后一特征层的空间尺度相比于前一特征层的空间尺度缩小α倍；
[0014]第一横向连接层由第一特征金字塔各特征层分别通过通道映射操作生成，以及第一横向连接层各层与第一金字塔各层相对应；其中，第一横向连接层各层通道数相同，且第一横向连接层的各层尺寸与第一特征金字塔各特征层的尺寸相同；
[0015]第二特征金字塔的方向与第一特征金字塔的方向相反，以及第二特征金字塔包括第一特征层、第一特征编码层和第一特征融合层；其中，第一特征层为第一特征金字塔的最顶一层，且第一特征层的数据与同一层对应的横向连接层的数据相同；第一特征编码层各层分别与横向连接层对应，其中第一特征编码层接收对应横向连接层特征数据进行通道合并、编码及上采样操作生成对应特征编码层输出；第一特征融合层由当前第一特征编码层与对应横向连接层的上一层的横向连接层各通道数据分别通过逐元素相乘输出获得。
[0016]优选地，特征金字塔网络包括第三特征金字塔、第二横向连接层和第四特征金字塔；
[0017]其中，神经网络对多通道图像进行卷积得到的初步特征层作为第三特征金字塔，其中第三特征金字塔至少包含两层卷积特征层，且在自下向上的方向上，相邻两特征层中的后一特征层的空间尺度相比于前一特征层的空间尺度缩小α倍；
[0018]第二横向连接层由第三特征金字塔各特征层分别通过通道映射操作生成，以及第二横向连接层各层与第三金字塔各层相对应；其中，第二横向连接层各层通道数相同，且第二横向连接层的各层尺寸与第三特征金字塔各特征层的尺寸相同；
[0019]第四特征金字塔的方向与第三特征金字塔的方向相反，以及第四特征金字塔包括第二特征层、第二特征编码层和第二特征融合层；其中，第二特征层为第三特征金字塔的最顶一层，且第二特征层的数据与同一层对应的横向连接层的数据相同；第二特征编码层各层分别与横向连接层对应，其中第二特征编码层接收对应的同一级特征融合层数据进行通道合并、编码及上采样操作生成对应特征编码层输出；第二特征融合层由当前第二特征编码层与对应横向连接层的上一层的横向连接层各通道数据分别通过逐元素相乘输出获得。
[0020]优选地，在特征金字塔网络中根据特征金字塔映射生成横向连接层时，若映射前后层数一致，则不需要进行映射操作；
[0021]和/或，用于编码的编码函数包括以下任意一种函数：二元编码函数、分段编码函数、量化编码函数、三元编码函数。
[0022]优选地，针对编码层coding_n，通道合并操作是指将对应的横向连接层采用大小为1
×
1的单通道卷积核进行卷积运算处理，生成单通道特征图e'_n；编码操作是指对单通道特征图数据通过编码函数进行编码生成第一编码特征数据；上采样操作是指对所述第一编码特征数据进行上采样，使其输出的特征尺寸与对应横向连接层的下一层横向连接层尺寸一致，以便当前输出的特征编码层与对应横向连接层的下一层横向连接层融合。
[0023]本说明书实施例还提供一种神经网络目标检测装置，包括：
[0024]通道拓展模块，用于将单通道图像下采样拓展为多通道图像，其中单通道图像拓展的通道数对应于神经网络输入层所需的输入通道数，下采样的单元窗中采样像素的数量与通道数相同，以及在每次下采样中，将单元窗的采样像素依次采样至对应的多通道图像中；
[0025]特征提取模块，用于基于所述神经网络的卷积网络对所述多通道图像形成初步特
征层；
[0026]特征融合模块，用于基于特征金字塔网络对初步特征层进行特征语义融合后获得输出特征层，所述输出特征层用于目标检测。
[0027]本说明书实施例还提供一种嵌入式电子设备，包括：
[0028]至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：权利要求1
‑
7中任一项所述的神经网络目标检测方法。
[0029]本说明书实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络目标检测方法，其特征在于，包括：将单通道图像下采样拓展为多通道图像，其中单通道图像拓展的通道数对应于神经网络输入层所需的输入通道数，下采样的单元窗中采样像素的数量与通道数相同，以及在每次下采样中，将单元窗的采样像素依次采样至对应的多通道图像中；基于所述神经网络的卷积网络对所述多通道图像形成初步特征层；基于特征金字塔网络对初步特征层进行特征语义融合后获得输出特征层，所述输出特征层用于目标检测。2.根据权利要求1所述的神经网络目标检测方法，其特征在于，将单通道图像下采样拓展为多通道图像包括：自单通道图像的左上角开始，采用第一单元窗按预设第一滑窗步长进行滑窗遍历，并在每次滑窗遍历中，当前第一单元窗中的采样像素分别采样至对应的多通道图像；其中，单通道图像拓展后的通道数与单元窗尺寸满足以下关系：C_in＝w
×
h，w
×
h为单元窗的尺寸，w为单元窗的宽，h为单元窗的高，C_in为单通道图像拓展后的通道数。3.根据权利要求1所述的神经网络目标检测方法，其特征在于，将单通道图像下采样拓展为多通道图像包括：自单通道图像的左上角开始，基于预设第二滑窗步长和预设第二单元窗，将单通道图像划分为若干第一单元格，并按像素坐标将每个所述第一单元格的像素采样至对应的多通道图像中。4.根据权利要求1所述的神经网络目标检测方法，其特征在于，特征金字塔网络包括第一特征金字塔、第一横向连接层和第二特征金字塔；其中，神经网络对多通道图像进行卷积得到的初步特征层作为第一特征金字塔，其中第一特征金字塔至少包含两层卷积特征层，且在自下向上的方向上，相邻两特征层中的后一特征层的空间尺度相比于前一特征层的空间尺度缩小α倍；第一横向连接层由第一特征金字塔各特征层分别通过通道映射操作生成，以及第一横向连接层各层与第一金字塔各层相对应；其中，第一横向连接层各层通道数相同，且第一横向连接层的各层尺寸与第一特征金字塔各特征层的尺寸相同；第二特征金字塔的方向与第一特征金字塔的方向相反，以及第二特征金字塔包括第一特征层、第一特征编码层和第一特征融合层；其中，第一特征层为第一特征金字塔的最顶一层，且第一特征层的数据与同一层对应的横向连接层的数据相同；第一特征编码层各层分别与横向连接层对应，其中第一特征编码层接收对应横向连接层特征数据进行通道合并、编码及上采样操作生成对应特征编码层输出；第一特征融合层由当前第一特征编码层与对应横向连接层的上一层的横向连接层各通道数据分别通过逐元素相乘输出获得。5.根据权利要求1所述的神经网络目标检测方法，其特征在于，特征金字塔网络包括第三特征金字塔、第二横向连接层和第四特征金字塔；其中，神经网络对多通道图像进行卷积得到的初步特征层作为第三特征金字塔，其中第三特征金字塔至少包含两层卷积特征层，且在自下向上的方向上，相邻两特征层中的后一特征层的空间尺度相...

【专利技术属性】
技术研发人员：王赟，张官兴，
申请(专利权)人：上海埃瓦智能科技有限公司，
类型：发明
国别省市：