对象识别系统和方法技术方案

所公开的技术涉及识别数字图像中的对象。在各种实施例中，第一相机(276、376、476、976)可以采集(1002)描绘区域中的对象的(一幅或多幅)数字图像(420)。可以检测(1004)描绘所述对象的面部的所述(一幅或多幅)数字图像的(一个或多个)部分作为(一幅或多幅)检测到的面部图像。可以将所述(一幅或多幅)检测到的面部图像的特征和与对象参考数据库(412)中的与(一个或多个)对象相关联的对象参考模板的特征进行比较(1006)。所述对象参考数据库存储与多个对象相关联并且基于从第二相机(256、456)接收的数据生成的对象参考模板。基于所述比较，可以确定(1014)所述对象的身份，并且可以将所述(一幅或多幅)检测到的面部图像的所述特征存储(1016)在与所述对象相关联的所述对象参考数据库中，例如作为用于以后使用的辅助模板特征向量。

Object recognition system and method

【技术实现步骤摘要】
【国外来华专利技术】对象识别系统和方法
本公开总体上但是非排他地涉及识别数字图像(包括数字图像流)中的人。更具体地，但是非排他地，本文所公开的各种方法和装置涉及识别数字图像(或其流)中的人，使得那些人可以被定位在医院的诸如候诊室的区域中。
技术介绍
存在可能期望基于捕获包含人的场景的数字图像自动地识别人(或“对象”)的多种情形。例如，当患者访问医院时，其通常被登记、分诊并且然后被送到诸如候诊室的区域以等候诸如医师的医院资源变为可提供以检查和/或处置患者。能够自动识别个体患者对于可以帮助当其等候医学资源的分配时持续监测其状况(例如，针对恶化)。其也可以帮助确定是否/何时患者离开而未被看到(LWBS)。基于数字图像自动地识别人也可以在各种其他背景(诸如机场、火车站、过境处、体育馆和健身中心、各种公司等)下是有用的。在一些背景下，可能期望识别包含多个对象的数字图像中的个体对象。例如，除等候的患者之外，由候诊室中的相机捕获的数字图像可能描绘能够与患者一起等候的其他人，诸如朋友、亲属等。面部检测技术可以检测数字图像中的所有面部，但是哪些面部属于患者并且哪些属于他人可能是不清楚的。此外，诸如候诊室的监测区域中的对象将不大可能盯着相机。代替地，其可以看其电话、杂志、看着彼此等。因此，甚至即使在检测到描绘的面部时，在其原始状态中所描绘的检测到的面部可能似乎基本上不同于在登记处采集的收录图像(例如，当对象可能正在直接看着相机时)中。此外，区域中的光条件可以跨时间(例如，日间对夜间)和/或跨物理空间变化。
技术实现思路
本公开涉及用于自动地识别所采集的数字图像中所描绘的人的方法、系统和装置。作为一个非限制性范例，多个分诊的患者可以在候诊室中等候直到其可以由急诊医师看到。所述患者可以被包括在例如基于与每个患者相关联的紧急性的量度(在本文中被称为“患者紧急性量度”)以及其他数据点(诸如患者等候时间、患者存在等)来排序或排名的患者监测队列(还简单地被称为“患者队列”)中，所述量度基于由分诊护士从所述患者获得/采集的信息来确定。被安装在候诊室中的一个或多个“生命体征采集相机”可以被配置为周期性地执行来自每个患者的一个或多个经更新的生命体征和/或生理参数的非接触和/或不突兀的采集。这些经更新的生命体征和/或生理参数可以包括但不限于温度、脉搏率、血氧饱和度(“SpO2”)、呼吸率、姿态、汗水等。为了识别(一个或多个)生命体征采集相机应当采集经更新的生命体征的具体患者，本文所描述的技术可以被用于将“登记的”对象——例如，登记的和/或分诊的患者——与在由一个或多个相机采集的一幅或多幅数字图像中捕获的场景中描绘的“检测到的”对象进行匹配。更一般地，本文所描述的技术可以在各种背景下被实施为识别数字图像(例如，单幅图像和/或数字图像流，诸如视频馈送)中所描绘的对象，例如通过收集与要监测的每个对象(其在本文中可以被称为“登记的对象”)相关联的对象参考模板和对应的模板特征向量并且稍后使用那些对象参考模板和/或对应的模板特征向量来识别随后捕获的数字图像中的对象。总体地，在一个方面中，一种方法可以包括：使用第一相机采集描绘区域中的对象的一幅或多幅数字图像；检测所述一幅或多幅数字图像中的描绘所述对象的面部的一个或多个部分，作为与所述对象相关联的一幅或多幅检测到的面部图像；将所述一幅或多幅检测到的面部图像的特征与对象参考数据库中的与一个或多个对象相关联的对象参考模板的特征进行比较，其中，所述对象参考数据库存储与多个对象有关的对象参考模板，并且其中，被存储在所述对象参考数据库中的所述对象参考模板是基于从第二相机接收的数据来生成的；并且基于所述比较：确定所述对象的身份，并且将所述一幅或多幅检测到的面部图像的所述特征与所述对象相关联地存储在所述对象参考数据库中，作为辅助模板特征向量以供以后使用。在各种实施例中，所述比较可以包括：将所述一幅或多幅检测到的面部图像应用为跨神经网络的输入，以生成一个或多个对应的面部特征向量；并且将所述对象参考模板中的至少一些应用为跨所述神经网络的输入，以生成多个对应的模板特征向量。在各种实施例中，所述神经网络可以采取卷积神经网络的形式。在各种实施例中，所述第二相机可以位于登记或分诊区域中。在各种实施例中，所述第一相机可以位于候诊室或普通病房中。在各种实施例中，所述方法可以还包括：使用所述第一相机采集描绘所述区域中的第二对象的一幅或多幅数字图像；检测所述一幅或多幅随后数字图像中的描绘所述第二对象的面部的一个或多个部分，作为与所述第二对象相关联的一幅或多幅检测到的面部图像；并且将与所述第二对象相关联的所述一幅或多幅检测到的面部图像的特征与所述对象参考数据库中的与一个或多个对象相关联的辅助对象参考模板的特征进行比较，其中，所述辅助对象参考模板是基于由所述第一相机采集的数字图像来生成的以确定所述第二对象的身份。在各种实施例中，所述辅助模板特征向量可以替换与所述对象相关联的现有模板特征向量。在各种实施例中，所述比较可以包括：确定根据所述检测到的面部图像中的一幅或多幅生成的面部特征向量与根据所述对象参考数据库中的与第一对象相关联的第一对象参考模板生成的第一模板特征向量之间的第一距离；以及确定所述面部特征向量与根据所述对象参考数据库中的与第二对象相关联的对象参考模板生成的第二模板特征向量之间的第二距离。在各种实施例中，所述存储可以基于所述第一距离与所述第二距离之间的关系。应当意识到，以下更详细讨论的前述构思和额外的构思的所有组合(假设这些构思不相互矛盾)被预期为本文所公开的主题的部分。具体而言，出现在本公开的结束处的请求保护的主题的所有组合被预期为是本文所公开的主题的部分。还应该意识到，本文明确采用的也可以出现在通过引用并入的任何公开中的术语应该被赋予与本文所公开的具体构思最一致的含义。附图说明在附图中，相似的附图标记贯穿不同视图通常指代相同的部件。而且，附图不一定是按比例的，而是通常将强调放在图示本公开的原理上。图1示意性地图示了根据各种实施例的用于使用所公开的技术来监测数字图像中所识别的患者的总体处理流程。图2图示了根据各种实施方式的、本公开的各种部件可以在其中实施本公开的选定的方面的范例环境。图3描绘了根据各种实施例的可以实践在其中所公开的技术的范例场景。图4描绘了用于执行本公开的各方面的范例部件和操作。图5描绘了根据各种实施例的可以如何从收录数字图像生成对象参考模板和对应的模板特征向量的范例。图6描绘了根据各种实施例的可以如何检测进入和/或离开相机的视场的对象的范例。图7描绘了根据各种实施例的检测到的面部图像可以如何规范化(例如，规范化到正面)的一个范例。图8比图5更详细地描绘了根据各种实施例的可以如何从收录数字图像中选择对象参考模板的范例。图9描绘了根据各种实施例的可以如何在正被监测的区域中识别对象的一个范例。图10描绘了根据各种实施例的用于执行本公开的选定的方面的范例方法。图11描绘了范例计算机系统的部件。<本文档来自技高网...

【技术保护点】
1.一种由一个或多个处理器实施的方法，所述方法包括：/n使用第一相机(276、376、476、976)采集(1002)描绘区域中的对象的一幅或多幅数字图像(420)；/n检测(1004)所述一幅或多幅数字图像中的描绘所述对象的面部的一个或多个部分，作为与所述对象相关联的一幅或多幅检测到的面部图像；/n将所述一幅或多幅检测到的面部图像的特征与对象参考数据库(412)中的与一个或多个对象相关联的对象参考模板的特征进行比较(1006)，其中，所述对象参考数据库存储与多个对象有关的对象参考模板，并且其中，被存储在所述对象参考数据库中的所述对象参考模板是基于从第二相机(256、456)接收的数据来生成的；并且/n基于所述比较：/n确定(1014)所述对象的身份，并且/n将所述一幅或多幅检测到的面部图像的所述特征与所述对象相关联地存储(1016)在所述对象参考数据库中，作为辅助模板特征向量以供以后使用。/n

【技术特征摘要】
【国外来华专利技术】20170913 US 62/557,9581.一种由一个或多个处理器实施的方法，所述方法包括：
使用第一相机(276、376、476、976)采集(1002)描绘区域中的对象的一幅或多幅数字图像(420)；
检测(1004)所述一幅或多幅数字图像中的描绘所述对象的面部的一个或多个部分，作为与所述对象相关联的一幅或多幅检测到的面部图像；
将所述一幅或多幅检测到的面部图像的特征与对象参考数据库(412)中的与一个或多个对象相关联的对象参考模板的特征进行比较(1006)，其中，所述对象参考数据库存储与多个对象有关的对象参考模板，并且其中，被存储在所述对象参考数据库中的所述对象参考模板是基于从第二相机(256、456)接收的数据来生成的；并且
基于所述比较：
确定(1014)所述对象的身份，并且
将所述一幅或多幅检测到的面部图像的所述特征与所述对象相关联地存储(1016)在所述对象参考数据库中，作为辅助模板特征向量以供以后使用。


2.根据权利要求1所述的方法，其中，所述比较包括：
将所述一幅或多幅检测到的面部图像应用(1008)为跨神经网络的输入，以生成一个或多个对应的面部特征向量；并且
将所述对象参考模板中的至少一些应用(409)为跨所述神经网络的输入，以生成多个对应的模板特征向量。


3.根据权利要求2所述的方法，其中，所述神经网络包括卷积神经网络(902)。


4.根据权利要求1所述的方法，其中，所述第二相机被定位于登记或分诊区域(102)中。


5.根据权利要求4所述的方法，其中，所述第一相机被定位于候诊室(104)或普通病房中。


6.根据权利要求1所述的方法，还包括：
使用所述第一相机采集(1002)描绘所述区域中的第二对象的一幅或多幅数字图像；
检测(1004)所述一幅或多幅随后数字图像中的描绘所述第二对象的面部的一个或多个部分，作为与所述第二对象相关联的一幅或多幅检测到的面部图像；并且
将与所述第二对象相关联的所述一幅或多幅检测到的面部图像的特征与所述对象参考数据库中的与一个或多个对象相关联的辅助对象参考模板的特征进行比较(1012)，其中，所述辅助对象参考模板是基于由所述第一相机采集的数字图像来生成的以确定所述第二对象的身份。


7.根据权利要求1所述的方法，其中，所述辅助模板特征向量替换与所述对象相关联的现有模板特征向量。


8.根据权利要求1所述的方法，其中，所述比较包括：
确定根据所述检测到的面部图像中的一幅或多幅生成的面部特征向量与根据所述对象参考数据库中的与第一对象相关联的第一对象参考模板生成的第一模板特征向量之间的第一距离；并且
确定所述面部特征向量与根据所述对象参考数据库中的与第二对象相关联的对象参考模板生成的第二模板特征向量之间的第二距离；
其中，所述存储是基于所述第一距离与所述第二距离之间的关系的。


9.一种包括一个或多个处理器和能与所述一个或多个处理器耦合的存储器的系统，其中，所述存储器存储指令，所述指令响应于由一个或多个处理器对所述指令的运行而使所述一个或多个处理器：
使用第一相机(276、376、476、976)采集(1002)描绘区域中的对象的一幅或多幅数字图像(420)；
检测(1004)所述一幅或多幅数字图像中的描绘所述对象的面部的一个或多个部分，作为与所述对象相关联的一幅或多幅检测到的面部图像；
将所述一幅或多幅检测到的面部图像的特征与对象参考数据库(412)中的与一个或多个对象相关联的对象参考模板的特征进行比较(1006)，其中，所述对象参考数据库存储与多个对象相关联的对象参考模板，并且其中，被存储在所述对象参考数据库中的所述对象参考模板是基于从第二相机(256、456)接收的数据来生成的；并且
基于所述比较：
确定(1014)所...

【专利技术属性】
技术研发人员：王海波，C·C·A·M·范宗，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL