图像数据处理方法、介质及电子设备技术

本申请涉及数据处理领域，公开了一种图像数据处理方法、介质及电子设备。该方法应用于电子设备，电子设备包括缓冲器和处理器，方法包括：缓冲器按行对接收到的第一图像数据进行存储，处理器从缓冲器读存储的第一图像数据；缓冲器在判断出处理器从缓冲器读存储的第一图像数据的过程中存在丢失的图像数据的情况下，缓冲器对丢失的图像数据进行数据补充操作，得到补充的图像数据；缓冲器向处理器发送补充的图像数据。以提高图像数据的完整性,从而在一定程度上，可以进一步提高神经网络模型图像识别准确度。图像识别准确度。图像识别准确度。

【技术实现步骤摘要】
图像数据处理方法、介质及电子设备


[0001]本申请涉及通用图像数据处理
，特别涉及一种图像数据处理方法、介质及电子设备。

技术介绍

[0002]图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。现阶段图像识别技术可以应用在各种场景中，例如人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中；商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。
[0003]图像的传统识别流程分为四个步骤：图像采集
→
图像预处理
→
特征提取
→
图像识别。通常，图像信号处理器(image signal processor，ISP)会对输入的待处理图像进行图像预处理，即对输入的原始图像进行图像处理，然后将处理后的图像数据依次传输到神经网络处理器(neural
‑
network processing unit，NPU)进行特征提取和图像识别，在从ISP到NPU的实时数据流中，ISP的输出数据会使用缓冲器，ISP以行对齐格式将数据实时写入此缓冲器，NPU读取来自该专用缓冲器的实时数据。
[0004]但是，但是一般缓冲器的存储空间大小是固定的，而且在缓冲器所在的芯片内部，一般不会配置很大的缓冲器存储空间。ISP实时向缓冲器写数据，NPU实时从缓冲器读数据，如果ISP写入到缓冲器的数据缓冲器溢出，NPU就读取不到该丢失的行数据，发生数据丢失，影响NPU做AI((Artificial Intelligence))推理的精度，NPU图像识别准确度降低。

技术实现思路

[0005]本申请实施例提供了一种图像数据处理方法、介质及电子设备。
[0006]第一方面，本申请实施例提供了一种图像数据处理方法，应用于电子设备，所述电子设备包括缓冲器和处理器，所述方法包括：
[0007]所述缓冲器按行对接收到的第一图像数据进行存储，并对丢失的行数据进行标记，所述处理器从所述缓冲器读存储的所述第一图像数据；
[0008]所述缓冲器在判断有数据丢失标记的行的情况下，对丢失的图像数据进行数据补充操作，得到补充的图像数据；
[0009]所述缓冲器向所述处理器发送所述补充的图像数据。
[0010]本申请实施例中，缓冲器可以为具有图像数据缓存和丢失的图像数据补充功能的硬件存储区和硬件逻辑单元。第一图像数据可以为具体实施例中指出的图像数据A2或者图像数据A1中的第M行数据，第一图像数据可以包括图像中的像素点的像素值，例如灰度图像中的每个像素点的像素值，或者彩色图像中的每个像素点的R、G、B像素值。可以理解，补充的图像数据可以为数据A3。
[0011]可以理解，处理器可以为具有图像算法处理功能或神经网络模型推理功能的处理
器，例如，神经网络处理器。
[0012]若处理器为图像信号处理器，则丢失的行数据是指图像信号处理器向缓冲器写数据和神经网络处理器从缓冲器读取的速度不匹配时，例如，ISP向缓冲器写入数据的写入速度大于NPU103读取写入的数据的读取速度，图像信号处理器未写入缓冲器的部分数据。
[0013]在本申请实施例中，通过对丢失的图像数据进行补充操作，可以提高图像的连续性和完整性，从而在一定程度上，可以进一步提高后续AI图像处理的精度，如物体识别精度、或者图像识别准确度。
[0014]在上述第一方面的一种可能的实现中，上述方法还包括：所述缓冲器根据所述处理器的不同图像处理任务类型，对所述丢失的图像数据进行不同的数据补充操作。
[0015]可以理解，所述图像处理任务类型包括分类任务、定位任务、检测任务和分割任务中的至少一种。
[0016]本申请实施例中，第一图像数据可以包括图像中的像素点的像素值，处理器根据对图像数据的完整度的不同要求，选择不同的数据补充方法，在提高图像数据完整度的基础上，还可以进一步提高NPU图像算法处理的精度，例如图像识别准确度。
[0017]在上述第一方面的一种可能的实现中，上述方法还包括：所述图像处理任务类型包括分类任务、定位任务、检测任务和分割任务中的至少一种。
[0018]在上述第一方面的一种可能的实现中，上述方法还包括：所述缓冲器在所述图像处理任务类型为分类任务、定位任务或者检测任务的情况下，将预设值作为补充的图像像素值。
[0019]可以理解，预设值可以为0至255中的任意一个数值。
[0020]在上述第一方面的一种可能的实现中，上述方法还包括：所述预设值为0或者255。
[0021]在上述第一方面的一种可能的实现中，上述方法还包括：所述缓冲器在所述图像处理任务类型为分割任务的情况下的补充操作包括：
[0022]所述缓冲器获取与丢失的第H行图像数据相邻的第H
‑
1行数据和第H+1行数据；
[0023]所述缓冲器将第H
‑
1行数据和第H+1行数据相同列的数据的平均值作为所述丢失的第H行图像数据的补充图像数据。
[0024]本申请实施例中，丢失的行数据即待补充图像数据，所述补充操作即将待补充图像数据的上下相邻行对应的同列图像数据求和后平均，得到补充数据，即对上下相邻行数据对应的同一列图像数据进行加权处理得到，权重值为0.5。
[0025]H为自然数，若H为5，所述缓冲器获取与待补充的第5行图像数据相邻的第4行数据和第6行数据；
[0026]所述缓冲器将第4行数据和第5行数据相同列的数据的平均值作为所述待补充的第5行图像数据的补充图像数据。
[0027]在上述第一方面的一种可能的实现中，上述方法还包括：所述缓冲器在所述图像处理任务类型为分割任务的情况下的补充操作包括：
[0028]所述缓冲器获取与丢失的图像数据相邻的多个图像数据，并将所述相邻的多个图像数据的平均值作为所述丢失的图像数据的补充图像数据。
[0029]可以理解，所述补充操作为缓冲器获取与待补充的图像数据相邻的图像数据，将与待补充的图像数据相邻的图像数据求和后的平均值作为补充数据，即将待补充图像数据
的前一行和后一行对应的同一列的图像数据以及前一行和后一行对应的前一列的图像数据的平均值，作为补充值。
[0030]在上述第一方面的一种可能的实现中，上述方法还包括：所述处理器为神经网络处理器。
[0031]在上述第一方面的一种可能的实现中，上述方法还包括：所述电子设备还包括图像信号处理器，所述缓冲器从所述图像信号处理器获取所述第一图像数据。
[0032]在上述第一方面的一种可能的实现中，上述方法还包括：所述缓冲器在判断出丢失的行数据在预设行数之内的情况下，对丢失的图像数据进行数据补充操作，得到补充的图像数据。
[0033]可以理解，如果丢失行数据过多(如大于10行)，会对后面神经网络处理器推理精度有比较大的影响，直接抛弃该帧图像数据，接受本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像数据处理方法，应用于电子设备，其特征在于，所述电子设备包括缓冲器和处理器，所述方法包括：所述缓冲器按行对接收到的第一图像数据进行存储，并对丢失的行数据进行标记，所述处理器从所述缓冲器读存储的所述第一图像数据；所述缓冲器在判断有数据丢失标记的行的情况下，对丢失的图像数据进行数据补充操作，得到补充的图像数据；所述缓冲器向所述处理器发送所述补充的图像数据。2.根据权利要求1所述的方法，其特征在于，所述缓冲器根据所述处理器的不同图像处理任务类型，对所述丢失的图像数据进行不同的数据补充操作。3.根据权利要求2所述的方法，其特征在于，所述图像处理任务类型包括分类任务、定位任务、检测任务和分割任务中的至少一种。4.根据权利要求3所述的方法，其特征在于，所述缓冲器在所述图像处理任务类型为分类任务、定位任务或者检测任务的情况下，将预设值作为补充的图像数据。5.根据权利要求4所述的方法，其特征在于，所述预设值为0或者255。6.根据权利要求1所述的方法，其特征在于，所述缓冲器在所述图像处理任务类型为分割任务的情况下的补充操作包括：所述缓冲器获取与丢失的第H行图像数据相邻的第H
‑
1行数据和第H+1行数据；所述缓冲器将第H
‑
1行数据和第H+1行数据相同列的数据的平均值作为所述丢失的第...

【专利技术属性】
技术研发人员：阮小飞，杨磊，尚峰，黄敦博，刘宇轩，
申请(专利权)人：安谋科技中国有限公司，
类型：发明
国别省市：