处理感兴趣区域数据的方法和装置制造方法及图纸

公开了一种处理感兴趣区域数据的方法和装置，该方法可以包括：获取关于原始输入张量的至少一个感兴趣区域数据；根据前述至少一个感兴趣区域数据中的第一感兴趣区域数据，确定原始输入张量的与第一感兴趣区域数据相对应的第一局部张量；根据预先编译的指令序列模板，生成用于处理第一局部张量和/或第一感兴趣区域数据的第一可执行指令序列；基于第一可执行指令序列，生成最终可执行指令序列；以及执行最终可执行指令序列。通过根据本公开的实施例的方法和装置，能够高效率地执行需要基于感兴趣区域的运行时数据的操作。

【技术实现步骤摘要】
处理感兴趣区域数据的方法和装置
本公开总体上涉及人工智能的
，并且具体地涉及一种处理感兴趣区域数据的方法和装置。
技术介绍
在机器学习、图像识别等处理中，可以使用诸如矩形、圆形、椭圆等规则或不规则的多边形或闭合曲线，框住或描绘出输入的图像或视频中的一个或多个关注对象或关注区域，从而生成一个或多个感兴趣区域(RegionofInterest，ROI)，然后可以基于ROI数据执行诸如非极大值抑制(Non-MaximumSuppression，NMS)、特征提取和分类、边界回归等进一步处理。基于ROI能够减少机器学习、图像识别等任务的处理时间，并且增加处理结果的精度。
技术实现思路
根据本公开的一个方面，提供了一种处理感兴趣区域数据的方法，该方法可以包括：获取关于原始输入张量的至少一个感兴趣区域数据；根据前述至少一个感兴趣区域数据中的第一感兴趣区域数据，确定原始输入张量的与第一感兴趣区域数据相对应的第一局部张量；根据预先编译的指令序列模板，生成用于处理第一局部张量和/或第一感兴趣区域数据的第一可执行指令序列；基于第一可执行指令序列，生成最终可执行指令序列；以及执行最终可执行指令序列。根据本公开的另一个方面，还提供了一种处理感兴趣区域数据的装置，该装置可以包括处理器，并且该处理器可以被配置为在启动时根据预定指令至少执行上述方法。根据本公开的另一个方面，还提供了一种处理感兴趣区域数据的装置，该装置可以包括获取单元、匹配单元、指令生成单元和指令执行单元，其中，获取单元可以被配置为获取关于原始输入张量的至少一个感兴趣区域数据，匹配单元可以被配置为根据前述至少一个感兴趣区域数据中的第一感兴趣区域数据确定原始输入张量的与第一感兴趣区域数据相对应的第一局部张量，指令生成单元可以被配置为根据预先编译的指令序列模板生成用于处理第一局部张量和/或第一感兴趣区域数据的第一可执行指令序列以及基于第一可执行指令序列生成最终可执行指令序列，并且指令执行单元可以被配置为执行最终可执行指令序列。根据本公开的另一个方面，还提供了一种计算装置可读取的非临时性存储介质，在其上存储有程序指令，该程序指令可以在被计算装置执行时执行上术方法。通过根据本公开的实施例的方法和装置，能够高效率地执行需要基于感兴趣区域的运行时数据的操作。附图说明通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出根据本公开的实施例的用于处理ROI数据的方法的示例。图2示出根据本公开的实施例的方法的执行过程的示例。图3示出根据本公开的实施例的期望由指令序列模板定义的处理逻辑的示例。图4示出根据本公开的实施例的期望由指令序列模板定义的处理逻辑的示例。图5示出根据本公开的实施例的方法的步骤S120的示例。图6示出根据本公开的实施例的方法的步骤S140的示例。图7示出根据本公开的实施例的方法的步骤S140的示例。图8示出根据本公开的实施例的用于处理ROI数据的装置的示例。图9示出根据本公开的实施例的用于处理ROI数据的装置的示例。具体实施方式下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。概述通常，可以通过诸如通用的中央处理单元(CentralProcessingUnit，CPU)这样的一个或多个强性能的处理器，将诸如神经网络这样的用于诸如图像识别、对象检测等任务的处理模型编译为一个或多个指令序列，其中，由于同一个处理模型可能需要针对不同的输入(例如，输入图像或视频的不同部分)运行多次，所以一个处理模型可以被编译成逻辑相同但处理不同数据的多个指令序列。然后，可以将编译好的指令序列交付给诸如手机、导航仪等终端设备，并由这样的终端设备上的片上处理器执行。由于硬件成本、技术能力等不同方面的原因，与诸如通用的台式计算机、移动计算机、云端处理系统等不同，通常需要在硬件成本和性能等方面对终端设备进行严格的控制。例如，终端设备或者嵌入在终端设备中的处理芯片(例如人工智能芯片)的处理器或片上处理器通常相对于用于离线编程、调试、编译的装置中的处理器具有更低的处理性能，例如，这样的处理器或片上处理器可以是基于诸如现场可编程门阵列(FieldProgrammableGateArray，FPGA)、ARM处理器等开发出来的处理器内核。例如，终端设备或终端设备中的处理芯片通常也只配置容量较低的处理器或片上处理器。相对应地，期望能够在诸如手机、导航仪等具有相对低性能的处理器和/或低容量的存储器的终端设备上执行的可执行程序具有更简单的控制逻辑并且消耗更少的硬件资源(例如存储器资源)，从而允许终端设备或者终端设备中的芯片可以具有更少的功耗和更低的硬件开销。然而，在离线的编程和/或编译期间，无法知道对于实际的输入数据在运行时实际将生成多少ROI，也无法知道实际生成的ROI和/或相对应的张量数据中的各个数据项的实际数据值，例如实际生成的ROI的坐标、大小、置信度等或者与各个ROI相对应的局部张量的大小、每个像素的像素值等，导致离线的编程和/或编译无法针对基于ROI(和/或相对应的局部张量)的运行时数据的操作或者与ROI(和/或相对应的局部张量)的运行时数据密切相关的操作生成高效率且低开销的可执行指令。例如，为了应对未知的运行时数据，在离线的编程中，可以设置更通用的处理逻辑并使用变量表示在当前未知的运行时数据，这意味着更多的条件判断、更复杂的控制逻辑和更多的存储器开销，并将导致终端设备的更多的功耗和更低的处理速度，并且由于不知道数据的实际情况，离线编译也无法对所生成的可执行指令实现更高效的优化。根据本公开的实施例的方法和装置旨在解决或缓解上述技术问题中的至少一个。示例性方法如图1所示，根据本公开的实施例的用于处理感兴趣区域数据的示例方法M100可以包括：步骤S110、获取关于原始输入张量的至少一个感兴趣区域数据；步骤S120、根据前述至少一个感兴趣区域数据中的第一感兴趣区域数据确定原始输入张量的与第一感兴趣区域数据相对应的第一局部张量；步骤S130、根据预先编译的指令序列模板生成用于处理第一局部张量和/或第一感兴趣区域数据的第一可执行指令序列；步骤S140、基于第一可执行指令序列生成最终可执行指令序列；以及步骤S150、执行最终可执行指令序列。在示例方法M100的执行过程中，或者说，在与示例方法M100相对应的可执行指令序列的执行过程中，可以根据预先编译的一个或多个指令序列模板，基于实际生成的ROI的运行时数据，动态地生成并执行另外的一本文档来自技高网...

【技术保护点】
1.一种处理感兴趣区域数据的方法，包括：/n获取关于原始输入张量的至少一个感兴趣区域数据；/n根据所述至少一个感兴趣区域数据中的第一感兴趣区域数据，确定所述原始输入张量的与所述第一感兴趣区域数据相对应的第一局部张量；/n根据预先编译的指令序列模板，生成用于处理所述第一局部张量和/或所述第一感兴趣区域数据的第一可执行指令序列；/n基于所述第一可执行指令序列，生成最终可执行指令序列；以及/n执行所述最终可执行指令序列。/n

【技术特征摘要】
1.一种处理感兴趣区域数据的方法，包括：
获取关于原始输入张量的至少一个感兴趣区域数据；
根据所述至少一个感兴趣区域数据中的第一感兴趣区域数据，确定所述原始输入张量的与所述第一感兴趣区域数据相对应的第一局部张量；
根据预先编译的指令序列模板，生成用于处理所述第一局部张量和/或所述第一感兴趣区域数据的第一可执行指令序列；
基于所述第一可执行指令序列，生成最终可执行指令序列；以及
执行所述最终可执行指令序列。


2.根据权利要求1所述的方法，其中，根据预先编译的指令序列模板生成用于处理所述第一局部张量和/或所述第一感兴趣区域数据的第一可执行指令序列包括：
通过复制所述指令序列模板，生成第一初始指令序列；以及
根据所述第一局部张量和/或所述第一感兴趣区域数据设置所述第一初始指令序列中的至少一条指令的参数，生成所述第一可执行指令序列。


3.根据权利要求1所述的方法，其中，所述指令序列模板包括：
第一组指令，其用于对张量数据进行插值以获得具有第一规整尺寸的中间张量数据；以及
第二组指令，其用于对所述中间张量数据执行至少一次规整池化以获得具有第二规整尺寸的张量数据。


4.根据权利要求1所述的方法，其中，所述指令序列模板包括：
第三组指令，其用于对张量数据执行预定模型中的至少一个运算。


5.根据权利要求1至4中的任一项所述的方法，其中，基于所述第一可执行指令序列生成最终可执行指令序列包括：
根据所述至少一个感兴趣区域数据中的第二感兴趣区域数据，确定所述原始输入张量的与所述第二感兴趣区域数据相对应的第二局部张量；
根据所述指令序列模板，生成用于处理所述第二局部张量和/或所述第二感兴趣区域数据的第二可执行指令序列；以及
基于所述第一可执行指令序列和所述第二可执行指令序列，生成所述最终可执行指令序列。


6.根据权利要求5所述的方法，其中，根据所述指令序列...

【专利技术属性】
技术研发人员：李建军，李军，王振江，凌坤，张鑫语，李晓森，黄畅，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：北京;11