一种目标追踪处理器、目标追踪方法及装置制造方法及图纸

本公开提供了一种目标追踪处理器、目标追踪方法及装置，其中，该目标追踪处理器包括：获取模块，用于获取与目标追踪指令对应的多帧目标图像，并将所述多帧目标图像传输至构建模块；构建模块，用于构建包含所述多帧目标图像对应的多个层级图像的图像金字塔；追踪模块，用于基于第N层追踪模块在第N层层级图像上进行光流追踪，并在完成光流追踪之后，将追踪结果输入至第N

【技术实现步骤摘要】
一种目标追踪处理器、目标追踪方法及装置


[0001]本公开涉及计算机
，具体而言，涉及一种目标追踪处理器、目标追踪方法及装置。

技术介绍

[0002]在追踪目标图像中的像素点时，经常采用光流追踪的方法确定像素点的移动位置，但是目标图像的分辨率通常较高，如果对目标图像直接进行追踪，执行速度非常慢。
[0003]相关技术中，为提高光流追踪的速度，一般会基于目标图像先建立图像金字塔，然后再对目标图像逐层进行追踪。但是在追踪每层图像时，都需要在上一层追踪完后，才可以追踪下一层，串行度较高，执行速度依然较慢。

技术实现思路

[0004]本公开实施例至少提供一种目标追踪处理器、目标追踪方法及装置。
[0005]第一方面，本公开实施例提供了一种目标追踪处理器，包括：
[0006]获取模块，用于获取与目标追踪指令对应的多帧目标图像，并将所述多帧目标图像传输至构建模块；
[0007]构建模块，用于构建包含所述多帧目标图像对应的多个层级图像的图像金字塔，其中，所述图像金字塔中每个层级有对应的用于对该层级进行计算的追踪模块；
[0008]追踪模块，用于基于第N层追踪模块在第N层层级图像上进行光流追踪，并在完成光流追踪之后，将追踪结果输入至第N
‑
1层追踪模块，以使所述第N
‑
1层追踪模块基于所述追踪结果在第N
‑
1层层级图像上进行光流追踪；其中，最低层追踪模块的光流追踪结果为所述目标追踪指令对应的追踪结果，最高层追踪模块的输入为目标追踪点的位置信息，N为整数。上述目标追踪处理器中，构建的图像金字塔的每个层级都有对应的追踪模块，这样，任一追踪模块在完成任一目标追踪任务之后，可以交由下一追踪模块继续进行追踪，且该任一追踪模块可以执行其他目标追踪任务，由此可以实现多个目标追踪任务的并行执行，从而提升了目标追踪的效率。
[0009]一种可能的实施方式中，所述目标追踪处理器还包括与所述图像金字塔中的各个层级分别对应的存储模块，用于存储各个层级的所述层级图像；
[0010]所述存储模块用于通过以下方法存储所述层级图像：
[0011]将所述层级图像按照预设特征大小进行分块处理；
[0012]将分块处理后各块区域图像对应的特征点的特征值按照顺序进行排列，同一块区域图像的特征点位于同一列，不同块区域图像的特征点位于不同列；
[0013]将同一行的特征点的特征值存储进所述存储模块的同一存储单元中，不同行的特征点的特征值存储至不同的存储单元。
[0014]通过这种存储方式，可以并行读取同一区域图像的特征点的特征值，减少了数据读取时间，从而提高光流追踪效率。
[0015]一种可能的实施方式中，针对任意两帧相邻的目标图像，所述第N层层级图像包括所述任意两帧目标图像分别对应的第一图像和第二图像；
[0016]所述追踪模块，在基于第N层追踪模块在第N层层级图像上进行光流追踪时，具体执行如下：
[0017]确定第N层级中目标追踪点在所述两帧目标图像分别对应的第一图像和第二图像中的追踪区域；
[0018]基于所述第一图像和第二图像中的追踪区域中的目标特征点的特征值进行光流追踪。
[0019]一种可能的实施方式中，所述追踪模块，还用于根据以下方法确定所述追踪区域中的目标特征点的特征值：
[0020]基于所述目标追踪点的坐标，确定所述追踪区域所包含的各特征点的坐标；
[0021]基于各特征点的坐标，从存储模块中读取各特征点对应的区域特征点的特征值；
[0022]对各特征点对应的区域特征点的特征值进行双线性差值运算，得到所述追踪所包含的各特征点对应的目标特征点的特征值。
[0023]通过进行双线性插值，可以更准确地确定坐标为浮点数的区域特征点的特征值。
[0024]一种可能的实施方式中，所述追踪模块，在基于各特征点的坐标，从存储模块中读取各特征点对应的区域特征点的特征值时，用于：
[0025]针对任一特征点，基于该特征点的坐标，从该特征点所在的层级图像对应的存储模块中，确定该特征点对应的各存储单元中的区域特征点的特征标识；
[0026]基于所述特征标识，从各存储单元中读取该特征点对应的区域特征点的特征值。
[0027]一种可能的实施方式中，所述追踪模块还包括第一生产模块和第二生产模块；
[0028]其中，所述第一生产模块用于在接收到第一定时器的第一指令的情况下，基于所述目标追踪点的坐标，确定所述特征点的坐标；
[0029]所述第二生产模块，用于在接收到第二定时器的第二指令的情况下，生成用于存储目标特征点的存储指令，以在接收到基于所述特征点对应的目标特征点之后，基于所述存储指令将所述目标特征点存储至缓存模块；
[0030]其中，所述第一定时器和所述第二定时器的定时时长相同，所述第一定时器和所述第二定时器之间的时间差为预设固定值。
[0031]这样，采用这种由两个定时器控制执行时间的方式，在计算出所述各特征点的实际特征值之后，毋需通过所述第一生产模块与所述第二生产模块之间的响应(即发送请求信号—接受请求信号—发回请求通过信号的过程)；在双线性插值的执行之后，基于计算出的预设固定值，即可恰好开始执行存储指令，节省了大量时间。
[0032]一种可能的实施方式中，所述追踪模块包括控制单元、计算单元和访存单元；
[0033]其中，所述访存单元用于从所述图像金字塔读取数据；
[0034]所述计算单元和所述控制单元用于进行光流追踪；
[0035]所述控制单元包括第一浮点计算单元、接口单元、数据存储单元；其中，所述第一浮点计算单元、接口单元、数据存储单元映射于同一内存空间。
[0036]这样，由于所述第一浮点计算单元、所述接口单元、所述数据存储单元映射于同一内存空间，则所述追踪模块接收到的所有指令都可以整合为一个指令，统一进行译码，然后
再基于指令中的标识，发送至不同的单元执行指令对应的请求内容，由此可以减少译码时间，提高处理效率。
[0037]第二方面，本公开实施例还提供一种目标追踪方法，包括：
[0038]获取与目标追踪指令对应的多帧目标图像；
[0039]构建包含所述多帧目标图像对应的多个层级图像的图像金字塔，其中，所述图像金字塔中每个层级有对应的用于对该层级进行计算的追踪模块；
[0040]基于第N层追踪模块在第N层层级图像上进行光流追踪，并在完成光流追踪之后，将追踪结果输入至第N
‑
1层追踪模块，以使所述第N
‑
1层追踪模块基于所述追踪结果在第N
‑
1层层级图像上进行光流追踪；其中，最低层追踪模块的光流追踪结果为所述目标追踪指令对应的追踪结果，最高层追踪模块的输入为目标追踪点的位置信息，N为整数。
[0041]第三方面，本公开实施例还提供一种目标追踪装置，包括：
[0042]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标追踪处理器，其特征在于，包括：获取模块，用于获取与目标追踪指令对应的多帧目标图像，并将所述多帧目标图像传输至构建模块；构建模块，用于构建包含所述多帧目标图像对应的多个层级图像的图像金字塔，其中，所述图像金字塔中每个层级有对应的用于对该层级进行计算的追踪模块；追踪模块，用于基于第N层追踪模块在第N层层级图像上进行光流追踪，并在完成光流追踪之后，将追踪结果输入至第N
‑
1层追踪模块，以使所述第N
‑
1层追踪模块基于所述追踪结果在第N
‑
1层层级图像上进行光流追踪；其中，最低层追踪模块的光流追踪结果为所述目标追踪指令对应的追踪结果，最高层追踪模块的输入为目标追踪点的位置信息，N为整数。2.根据权利要求1所述的目标追踪处理器，其特征在于，所述目标追踪处理器还包括与所述图像金字塔中的各个层级分别对应的存储模块，用于存储各个层级的所述层级图像；所述存储模块用于通过以下方法存储所述层级图像：将所述层级图像按照预设特征大小进行分块处理；将分块处理后各块区域图像对应的特征点的特征值按照顺序进行排列，同一块区域图像的特征点位于同一列，不同块区域图像的特征点位于不同列；将同一行的特征点的特征值存储进所述存储模块的同一存储单元中，不同行的特征点的特征值存储至不同的存储单元。3.根据权利要求2所述的目标追踪处理器，其特征在于，针对任意两帧相邻的目标图像，所述第N层层级图像包括所述任意两帧目标图像分别对应的第一图像和第二图像；所述追踪模块，在基于第N层追踪模块在第N层层级图像上进行光流追踪时，具体执行如下：确定第N层级中目标追踪点在所述两帧目标图像分别对应的第一图像和第二图像中的追踪区域；基于所述第一图像和第二图像中的追踪区域中的目标特征点的特征值进行光流追踪。4.根据权利要求3所述的目标追踪处理器，其特征在于，所述追踪模块，还用于根据以下方法确定所述追踪区域中的目标特征点的特征值：基于所述目标追踪点的坐标，确定所述追踪区域所包含的各特征点的坐标；基于各特征点的坐标，从存储模块中读取各特征点对应的区域特征点的特征值；对各特征点对应的区域特征点的特征值进行双线性差值运算，得到所述追踪所包含的各特征点对应的目标特征点的特征值。5.根据权利要求4所述的目标追踪处理器，其特征在于，所述追踪模块，在基于各特征点的坐标，从存储模块中读取各特征点对应的区域特征点的特征值时，用于：针对任一特征点，基于该特征点的坐标，从该特征点所在的层级图像对应的存储模块中，确定该特征点对应的各存储单元中的区域特征点的特征标识；基于所述特征标识，从各存储单元中读取该特征点对应的区域特征点的特征值。6.根据权利要求3～5任一所述的目标追踪处理器，其特征在于，所述追踪模块还包括第一生产模块和第二生产模块；其中，所述第一生...

【专利技术属性】
技术研发人员：李思旭，
申请(专利权)人：上海商汤科技开发有限公司，
类型：发明
国别省市：