用于确定图像内部的对象执行的动作的系统和方法技术方案

一种用于确定输入图像内部的对象执行的动作的系统包括用于存储一个或多个指令的存储器，以及与该存储器可通信地耦合并被配置成执行该存储器中的一个或多个指令的处理器。该处理器使用卷积神经网络(CNN)。该CNN包括预定义数量的初级，用于提取与输入图像相对应的一个或多个显著特征，其中每一个初级包括第一层和残差块，并且其中第一层是从包含卷积层、最大池化层和平均池化层的群组中选择的。该CNN包括用于将所提取的显著特征分类到一个或多个预定义的类别的末级，其中该末级是由全局平均池化层和密集层形成的。均池化层和密集层形成的。均池化层和密集层形成的。

【技术实现步骤摘要】
【国外来华专利技术】用于确定图像内部的对象执行的动作的系统和方法


[0001]本公开主要涉及人工智能；尤其涉及用于确定图像内部的对象执行的动作的系统和方法。此外，本公开涉及记录在机器可读的非暂时性数据存储介质上的软件产品，其中该软件产品可在计算硬件上执行，以便实现如上所述的用于确定图像内部的对象执行的动作的方法。

技术介绍

[0002]一般来说，随着技术的进步，计算机在人们日常生活中的使用日益增多。这其中不但包括将计算机用于个人计算应用程序(包括但不局限于在通信、教育以及服务行业等领域中使用计算机)，还包括将其用于关系到社会利益的其他商业和非商业目的。举例来说，此类计算机用途可以包括国防、医学以及科学研究等等。特别地，在上述领域中发现人工智能、机器学习和机器视觉这些计算领域的使用量正不断增长。
[0003]举例来说，在自动驾驶系统(例如自动驾驶汽车)领域中正在利用机器视觉和人工智能来检测可自动驾驶车辆周围的物件，由此允许车辆安全方便和可靠地绕过这些物件行驶。在另一个示例中，具有能够检测和识别人的移动的传感器的设备正被越来越多地用在国防应用中，例如国家边境地区。在此类设备中使用了机器视觉和人工智能来检测可能与非法潜入国家的国际边境的人有关的潜在威胁。
[0004]通常，如上所述的人工智能、机器学习和机器视觉系统不但用于检测环境中的对象(例如人或动物)的存在，而且还用于识别环境中的对象执行的动作。例如，人工智能系统可以使用卷积神经网络来识别对象执行的动作。然而，此类卷积神经网络可能会基于其用途而需要不同数量的过滤器或是多个冗余层，由此使得与对象相关联的动作判定非常缓慢且无效。
[0005]因此，有鉴于前面的讨论，有必要克服与使用卷积神经网络的传统人工智能系统相关联的缺陷，以便识别环境中的对象执行的动作。

技术实现思路

[0006]本公开旨在提供一种用于确定输入图像内部的对象执行的动作的改进系统。
[0007]此外，本公开旨在提供一种用于确定输入图像内部的对象执行的动作的改进方法。
[0008]此外，本公开旨在提供一种记录在机器可读的非暂时性数据存储介质上的软件产品，其中该软件产品可在计算硬件上执行，以便实现如上所述的用于确定输入图像内部的对象执行的动作的方法。
[0009]根据第一个方面，本公开的一个实施例提供了一种用于确定输入图像内部的对象执行的动作的系统。该系统包括用于存储一个或多个指令的存储器，以及与该存储器可通信地耦合并被配置成执行该存储器中的一个或多个指令的处理器，其中该处理器使用卷积神经网络(CNN)。该CNN包括预定义数量的初级，用于提取与输入图像相对应的一个或多个
显著特征，其中每一个初级包括第一层和残差块，并且其中第一层是从包含卷积层、最大池化层和平均池化层的群组中选择的。该CNN包括用于将所提取的显著特征分类到一个或多个预定义的类别的末级，其中该末级是由全局平均池化层和密集层形成的。
[0010]根据第二个方面，本公开的一个实施例提供了一种用于确定输入图像内部的对象执行的动作的方法。该方法包括接收输入图像，以及将输入图像提供给卷积神经网络(CNN)。该CNN包括预定义数量的初级，用于提取与输入图像相对应的一个或多个显著特征，其中每一个初级包括第一层和残差块，其中第一层是从包含卷积层、最大池化层和平均池化层的群组中选择的。该CNN包括用于将所提取的显著特征分类到一个或多个预定义的类别的末级，其中所述末级是由全局平均池化层和密集层形成的。
[0011]根据第三个方面，本公开的一个实施例提供了一种记录在机器可读的非暂时性数据存储介质上的软件产品，其中该软件产品可以在计算硬件上执行，以便实现如上所述的用于确定输入图像内部的对象执行的动作的方法。
[0012]本公开旨在提供一种通过使用卷积神经网络来确定图像内部的对象执行的动作的系统和方法，其中该卷积神经网络采用有限数量的层、恒定数量的滤波器以及尺寸缩小的图像，由此提高了与确定图像内部的对象执行的动作相关联的速度、准确性和可靠性。
[0013]应该理解的是，在不脱离附加权利要求限定的本公开的范围的情况下，本公开的特征是很容易以各种组合方式进行组合的。
附图说明
[0014]通过结合附图来进行阅读，可以更好地理解以上的
技术实现思路
以及以下关于说明性实施例的详细描述。出于例证本公开的目的，在附图中显示了关于本公开的例示构造。然而，本公开并不局限于这里公开的特定方法和手段。此外，本领域技术人员将会理解，附图并不是按比例绘制的。在可能的情况下，相同的元素是用相同的数字指示的。
[0015]现在将参考以下附图来举例描述本公开的实施例，其中：
[0016]图1示出了可以实施本公开的不同实施例的环境；
[0017]图2A和2B示出了根据本公开的一个实施例的用于确定至少一个图像内部的对象执行的动作的卷积神经网络(CNN)；以及
[0018]图3是根据本公开的一个实施例的用于确定至少一个图像内部的对象执行的动作的方法的步骤的例图。
[0019]在附图中，带有下划线的数字用于代表该带有下划线的数字所在的项目或是该带有下划线的数字相邻的项目。没有下划线的数字与将该无下划线的数字连接到某个项目的线条所标识的项目相关。当数字没有下划线且伴有相关箭头时，该没有下划线的数字用于标识箭头所指的通用项目。
具体实施方式
[0020]以下的详细描述示出了了本公开的实施例以及可以实现它们的方式。虽然公开了一些用于实施本公开的模式，但是本领域技术人员将会认识到，用于实施或实践本公开的其他实施例也是可能的。
[0021]总的来说，本公开的实施例涉及用于确定图像内部的对象执行的动作的系统和方
法。
[0022]图1示出了一个可以实施本公开的不同实施例的环境100。该环境100包括通过通信网络104可通信地相互耦合的成像设备101和动作分类系统102。通信网络104可以是任何适当的有线网络、无线网络、这些网络的组合或是其他任何常规网络，而不会对本公开的范围构成限制。少量的示例可以包括局域网(LAN)，无线LAN连接，因特网连接，点对点连接，或是其他网络连接及其组合。
[0023]成像设备101被配置成捕获视频流。在本公开的一个实施例中，成像设备101被配置成捕捉包括自助结账系统(SCO)的零售结账过程的一个或多个图像。可选地，该成像设备101包括但不局限于网际协议(IP)摄像机、云台(PTZ)摄像机、热成像摄像机或红外摄像机。
[0024]动作分类系统102被配置成将成像设备101捕获的人类动作和人类活动的图像分类到一个或多个预定义的类别中。
[0025]该动作分类系统102包括中央处理单元(CPU)106，操作面板108和存储器110。CPU 106是处理器、计算机、微控制器或是控制不同组件(例如操作面板108以及存储器110)的操作的其他电路。CPU 106可以执行软件、固件和/或其他指令(例如存储在易失性或非易失性存储器(例如存储器11本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于确定输入图像内部执行的动作的系统，所述系统包括：用于存储一个或多个指令的存储器；以及处理器，所述处理器可通信地耦合到所述存储器，并被配置成执行所述存储器中的所述一个或多个指令，其中所述处理器使用卷积神经网络(CNN)，所述卷积神经网络包括：预定义数量的初级，用于提取与所述输入图像相对应的一个或多个显著特征，其中每一个初级包括第一层和残差块，其中所述第一层是从包含以下各项的群组中选出的：卷积层，最大池化层和平均池化层；以及末级，用于将所提取的显著特征分类到一个或多个预定义的类别中，其中所述末级是由全局平均池化层和密集层形成的。2.如权利要求1所述的系统，其中所述预定义数量的初级被配置成迭代地提取与所述输入图像相对应的显著特征。3.如权利要求1所述的系统，其中每一个残差块包括至少一个批归一化层、至少一个修正线性单元以及至少一个具有恒定数量滤波器的卷积层。4.如权利要求1所述的系统，其中所述输入图像包括1到30个图像。5.如权利要求1所述的系统，其中所述最大池化层、所述平均池化层和所述全局平均池化层中的每一个都使用非线性函数来对相应输入执行下采样。6.如权利要求5所述的系统，其中所述最大池化层被配置成提取具有高显著性的多个像素，以便确定所述输入图像内部的对象执行的动作。7.如权利要求5所述的系统，其中所述平均池化层被配置成以压缩形式来对所述输入图像内部的信息进行编码。8.如权利要求1所述的系统，其中每一个层包括多个人工神经元，其中所述密集层的每一个人工神经元与所述全局平均池化层的每一个人工神经元相连。9.如权利要求1所述的系统，其中每一个卷积层使用大小为1的步幅值以及恒定数量的过滤器。10.一种用于确定输入图像内部的...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：埃尔森有限公司，
类型：发明
国别省市：