公开了一种畸变矫正方法及装置、电子设备。在一实施例中，畸变矫正装置，可以包括：片上存储器和运算电路；其中，片上存储器，配置为存储成像器件的部分查找表和待矫正图像中预设通道的图像数据，所述部分查找表中包含所述预设通道的图像数据的畸变参数；运算电路，配置为根据所述预设通道的图像数据对应的畸变参数，调整所述待矫正图像中预设通道的图像数据的像素值，以得到所述预设通道的矫正图像数据；所述片上存储器，还配置为存储所述运算电路输出的所述矫正图像数据。本申请至少可节省芯片中CPU的计算资源。芯片中CPU的计算资源。芯片中CPU的计算资源。
【技术实现步骤摘要】
畸变矫正方法及装置、电子设备
[0001]本申请涉及图像处理技术，尤其涉及一种畸变矫正方法及装置、电子设备。
技术介绍
[0002]由于相机等成像器件本身的缺陷造成的图像畸变难以避免，因此，畸变矫正是计算机视觉系统中的基本图像处理操作，通过畸变校正可以满足计算机视觉系统的正常准确工作。然而，通过CPU来进行畸变矫正会占用大量CPU资源，效率低下，导致计算机视觉系统的帧率难以得到保证。
技术实现思路
[0003]为了解决上述技术问题，期望提供一种畸变矫正方法及装置、电子设备，可通过硬件来加速图像的畸变矫正，以节省芯片上CPU的计算资源。
[0004]根据本申请的一个方案，提供了一种畸变矫正装置，包括：片上存储器和运算电路；其中，片上存储器，配置为存储成像器件的部分查找表和待矫正图像中预设通道的图像数据，所述部分查找表中包含所述预设通道的图像数据的畸变参数；运算电路，配置为根据所述预设通道的图像数据对应的畸变参数，调整所述待矫正图像中预设通道的图像数据的像素值，以得到所述预设通道的矫正图像数据；所述片上存储器，还配置为存储所述运算电路输出的所述矫正图像数据。
[0005]根据本申请的一个方面，提供了一种畸变矫正方法，包括：获取成像器件的部分查找表和待矫正图像中预设通道的图像数据，所述部分查找表中包含所述预设通道的图像数据的畸变参数；根据所述预设通道的图像数据的畸变参数，调整所述待矫正图像中预设通道的图像数据的像素值，以得到所述预设通道的矫正图像数据；以及，存储所述矫正图像数据。
[0006]根据本申请的一个方面，提供了一种电子设备，包括：上述的畸变矫正装置。
[0007]根据本申请的一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的畸变矫正方法。
[0008]根据本申请实施例的畸变矫正方法及装置、电子设备，不仅可节省芯片中CPU的计算资源，而且可显著提升系统帧率。
附图说明
[0009]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0010]图1是本申请一示例性实施例提供的畸变矫正装置的结构图。
[0011]图2是本申请另一示例性实施例提供的畸变矫正装置的结构图。
[0012]图3是本申请一示例性实施例提供的畸变矫正装置存放原始图像和查找表的示例图。
[0013]图4是本申请一示例性实施例提供的畸变矫正方法的流程示意图。
[0014]图5是本申请一示例性实施例提供的待矫正图像数据在四个第一缓冲区的数据排布示例图。
[0015]图6是本申请一示例性实施例提供的待矫正图像中参与一次双线性差值运算的四个像素值存入四个第一缓冲区的示意图；
[0016]图7是本申请一示例性实施例提供的待矫正图像与矫正图像中像素关系的示例图；
[0017]图8是本申请一示例性实施例提供的UV通道数据重排布的示例图。
[0018]图9是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
[0019]下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
[0020]申请概述
[0021]如上文所述的，畸变矫正是计算机视觉系统中的基本图像处理操作，在图像进入计算机视觉系统的正常处理之前，畸变校正是十分必要的。
[0022]目前，计算机视觉领域中图像的畸变矫正主要是在相应芯片中的CPU装载具有畸变矫正功能的软件来实现，在执行计算机视觉的相关处理(例如，基于神经网络的物体识别、目标检测、语义分割等)之前先由芯片中的CPU运行上述软件来对图像做畸变矫正，这会占用芯片的大量CPU资源，处理效率低下、帧率低，难以满足计算机视觉的实际应用需求。
[0023]针对上述技术问题，本申请实施例的基本构思是提供一种畸变矫正方法及装置、电子设备，该畸变矫正方法及装置、电子设备通过现场可编程门阵列(FPGA，Field-Programmable Gate Array)来实现，通过硬件来加速图像的畸变矫正，不仅处理效率更高，可释放芯片中CPU的大量计算资源，同时还可显著提升系统帧率，从而满足计算机视觉的实际应用需求。
[0024]例如，基于供专门应用的集成电路(ASIC，Application Specific Integrated Circuit)芯片的神经网络加速器，其硬件架构集成度较高难以更新，在类似场景中，通过FPGA可以对特定应用场景中神经网络加速器的性能起到补充的作用，例如，特定场景下需要对图像做矫正畸变时，可以直接在已有的硬件架构(例如，神经网络加速器等)中增设本申请实施例通过FPGA实现的畸变矫正装置，无需改进已有硬件架构的配置及其设计，从而可以以较低的硬件成本满足实际应用场景的需求，同时还可节省例如神经网络加速器等已有硬件架构的计算资源和存储资源，并且图像畸变校正等预处理与基于神经网络的物体识别、目标检测、语义分割等处理还可并行，这样，不仅硬件成本更低，畸变矫正处理本身的效率更高，而且计算机视觉系统的整体处理效率也更高。
[0025]尽管本申请实施例以计算机视觉为例进行说明，但可以理解，本申请实施例不仅可适用于计算机视觉领域的各类应用场景中，而且可应用于需要进行图像畸矫正的其他任
意场景中。
[0026]示例性装置
[0027]图1是本申请实施例畸变矫正的示例性装置的结构图，该畸变矫正装置可通过FPGA来实现。
[0028]如图1所示，本申请实施例畸变矫正的示例性装置10可以包括：片上存储器11和运算电路12；其中，
[0029]片上存储器11，可配置为存储成像器件的部分查找表和待矫正图像中预设通道的图像数据，部分查找表中可以包含预设通道的图像数据的畸变参数；
[0030]运算电路12，可配置为根据预设通道的图像数据对应的畸变参数，调整待矫正图像中预设通道的图像数据的像素值，以得到预设通道的矫正图像数据；
[0031]片上存储器11，还可配置为存储运算电路12输出的矫正图像数据。
[0032]本申请实施例的上述示例性装置10利用运算电路12对畸变矫正进行加速，不仅可释放芯片上CPU的大量计算资源，有效提高畸变矫正效率，而且可显著提升系统帧率，从而满足计算机视觉的实际应用需求。
[0033]由于本申请实施例的上述示例性装置10可通过运算电路12对畸变矫正进行加速，不仅可以较低的硬件成本满足计算机视觉等领域实际应用场景的图像预处理需求，而且可根据需要在已有硬件架构(例如，包含神经网络加速器的芯片)中灵活配置，无需改进已有硬件架构的配本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种畸变矫正装置，包括：片上存储器和运算电路；其中，片上存储器，配置为存储成像器件的部分查找表和待矫正图像中预设通道的图像数据，所述部分查找表中包含所述预设通道的图像数据的畸变参数；运算电路，配置为根据所述预设通道的图像数据对应的畸变参数，调整所述待矫正图像中预设通道的图像数据的像素值，以得到所述预设通道的矫正图像数据；所述片上存储器，还配置为存储所述运算电路输出的所述矫正图像数据。2.根据权利要求1所述的畸变矫正装置，其中，所述运算电路包括配置为执行双线性差值运算的电路。3.根据权利要求1所述的畸变矫正装置，其中，所述片上存储器包括第二缓冲区、第三缓冲区和至少一个第一缓冲区；其中，所述第二缓冲区，配置为存储所述部分查找表；所述第三缓冲区，配置为按照像素的位置参数存储所述矫正图像数据；所述至少一个第一缓冲区，配置为按照像素的位置参数存储待矫正图像中预设通道的图像数据。4.根据权利要求3所述的畸变矫正装置，其中，所述至少一个第一缓冲区的数量由所述运算电路每调整一个所述像素值需要使用的图像数据中的像素值个数确定。5.根据权利要求3所述的畸变矫正装置，其中，每个所述第一缓冲区对应所述待矫正图像中的选定行和/或选定列。6.根据权利要求1所述的畸变矫正装置，还包括：控制单元，配置为通过时钟信号控制所述运算电路和所述片上存储器在至少一个时钟周期内对待矫正图像中预定通道的图像数据执行畸变矫正。7.根据权利要求6所述的畸变矫正装置，其中，所述预定通道包括至少一个通道。8.一种畸变矫正方法，包括：获取成像器件的部分查找表和待矫正图像中预设通道的图像数据，所述部分查找表中包含所述预设通道的图像数据的畸变参数；根据所述预设通道的图像数据的畸变参数，调整所述待矫正图像中预设通道的图像数据的像素值，以得到所述预设通道的矫正图像数据；以及存储所述矫正图像数据。9.根据权利要求8所述的方法，其中，按照预先划分的图像分区执行所述畸变矫正。10.根据权利要求8所述的方法，其中，所述获取成像器件的部分查找表和待矫正图像中预设通道的图像数据，包括：将来自片外存储器的成像器件的部分查找表存储到预定的第二缓冲区；以及按照像素的位置参数，将来自片外存储器的待矫正图像中预设通道的图像...
【专利技术属性】
技术研发人员：邹玥，赵亦彤，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。