生物特征任务网络制造技术

本公开提供了“生物特征任务网络”。提供由深度神经网络基于从图像传感器提供的图像确定的来自活体生物特征分析任务的活体预测输出，其中所述活体生物特征分析在深度神经网络中执行，所述深度神经网络包括共同特征提取神经网络和多个任务特定的神经网络，所述多个任务特定的神经网络包括面部检测神经网络、身体姿态神经网络以及包括感兴趣区域(ROI)检测神经网络和纹理分析神经网络的活体神经网络，以通过将所述图像输入到所述共同特征提取神经网络以确定潜在变量来确定所述活体生物特征分析任务。所述潜在变量可以被输入到所述面部检测神经网络和所述活体神经网络。来自所述面部检测神经网络的输出可以被输入到所述ROI检测神经网络。测神经网络。测神经网络。

【技术实现步骤摘要】
生物特征任务网络
[0001]相关申请的交叉引用
[0002]本专利申请要求于2022年2月15日提交的美国临时专利申请号63/310,401的优先权，所述申请据此通过引用的方式整体并入本文。


[0003]本公开涉及车辆中的生物特征任务网络。

技术介绍

[0004]图像可以由传感器获取并使用计算机进行处理以确定关于系统周围环境中的对象的数据。感测系统的操作可以包括获取关于系统环境中的对象的准确且及时的数据。计算机可以从一个或多个图像传感器获取图像，所述图像可以被处理以确定关于对象的数据。计算机可以使用从对象的图像中提取的数据来操作系统，包括车辆、机器人、安全系统和/或对象跟踪系统。

技术实现思路

[0005]可以在计算机中实施生物特征分析以确定关于系统或机器(诸如车辆)中或周围的对象(例如，潜在用户)的数据。基于从生物特征分析确定的数据，例如可以操作车辆。本文的生物特征分析表示基于用户的身体特性来测量或计算关于用户的数据。例如，车辆或交通基础设施系统中的计算装置可以被编程为从包括在车辆或交通基础设施系统中的一个或多个传感器获取一个或多个图像，并且基于根据图像确定的生物特征数据授予用户操作车辆的许可。这种许可的授予在本文中被称为生物特征识别。生物特征识别表示确定潜在用户的身份。可以记录所确定的用户身份以跟踪哪个用户正在访问车辆，和/或在向用户授予操作车辆或系统的许可之前将所述用户身份与授权用户列表进行比较以认证用户。生物特征分析包括确定一个或多个身体特性，诸如用户困倦、注视方向、用户姿态、用户活体等。除了车辆之外，生物特征分析任务还可以应用于其他机器或系统。例如，计算机系统、机器人系统、制造系统和安全系统可能要求在授予对系统或安全区域的访问权限之前使用所获取的图像来识别潜在用户。
[0006]有利地，本文描述的技术可以增强例如如下文进一步讨论的交通基础设施系统和/或车辆中的计算装置基于识别面部生物特征算法(诸如面部特征识别)包括跨不同应用的冗余任务来执行生物特征分析的能力。此外，一些面部生物特征算法具有稀疏或有限的训练数据集。本文描述的技术包括多任务网络，所述多任务网络包括共同特征识别神经网络和多个生物特征分析任务神经网络。深度神经网络被配置为包括作为“主干”的共同特征提取神经网络和多个生物特征分析任务神经网络，所述多个生物特征分析任务神经网络接收由共同特征提取神经网络生成的一组共同潜在变量作为输入。深度神经网络包括多个专家池化深度神经网络，所述多个专家池化深度神经网络通过在多个生物特征分析任务之间共享结果来增强对深度神经网络的训练。
[0007]本文公开了一种方法，所述方法包括提供由深度神经网络基于从图像传感器提供的图像确定的来自活体生物特征分析任务的活体预测输出，其中所述活体生物特征分析在深度神经网络中执行，所述深度神经网络包括共同特征提取神经网络和多个任务特定的神经网络，所述多个任务特定的神经网络包括面部检测神经网络、身体姿态神经网络以及包括感兴趣区域(ROI)检测神经网络和纹理分析神经网络的活体神经网络，以通过将所述图像输入到所述共同特征提取神经网络以确定潜在变量来确定所述活体生物特征分析任务。所述潜在变量可以被输入到所述面部检测神经网络和所述活体神经网络。来自所述面部检测神经网络的输出可以被输入到所述ROI检测神经网络。来自所述ROI检测神经网络的输出可以被输入到所述纹理分析神经网络。来自所述纹理分析神经网络的输出被输入到活体专家池化神经网络以确定所述活体预测，并且可以输出所述活体预测。可以通过在所述活体专家池化神经网络中将来自所述纹理分析神经网络的输出和来自所述身体姿态神经网络的输出组合以确定所述活体预测来训练所述深度神经网络。可以基于从所述深度神经网络输出的活体预测来操作装置。可以基于所述活体预测来操作所述装置，包括确定用户认证。所述共同特征提取神经网络可以包括多个卷积层。
[0008]所述多个任务特定的神经网络可以包括多个全连接层。来自所述面部检测神经网络和所述身体姿态神经网络的输出可以被输入到SoftMax函数。来自所述活体专家池化神经网络的输出可以被输入到SoftMax函数。可以通过以下操作来训练所述深度神经网络：基于来自所述面部检测神经网络和所述身体姿态神经网络的输出来确定第一损失函数；基于来自所述活体专家池化神经网络的输出来确定第二损失函数；基于将所述第一损失函数与所述第二损失函数组合来确定联合损失函数；以及通过所述深度神经网络反向传播所述联合损失函数以确定深度神经网络权重。通过多次处理包括地面实况的图像的训练数据集并基于使所述联合损失函数最小化确定权重来训练所述深度神经网络。在训练期间，来自所述多个任务特定的神经网络的一个或多个输出可以被设置为零。包括在所述多个任务特定的神经网络中的权重可以在训练期间被冻结。可以基于根据稀疏分类交叉熵统计确定的损失函数来训练所述深度神经网络。可以基于根据均方误差统计确定的损失函数来训练所述深度神经网络。
[0009]还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种被编程用于执行上述一些或所有方法步骤的计算机，所述计算机包括计算机设备，所述计算机设备被编程为基于从图像传感器提供的图像确定的来自活体生物特征分析任务的活体预测输出，其中所述活体生物特征分析在深度神经网络中执行，所述深度神经网络包括共同特征提取神经网络和多个任务特定的神经网络，所述多个任务特定的神经网络包括面部检测神经网络、身体姿态神经网络以及包括感兴趣区域(ROI)检测神经网络和纹理分析神经网络的活体神经网络，以通过将所述图像输入到所述共同特征提取神经网络以确定潜在变量来确定所述活体生物特征分析任务。所述潜在变量可以被输入到所述面部检测神经网络和所述活体神经网络。来自所述面部检测神经网络的输出可以被输入到所述ROI检测神经网络。来自所述ROI检测神经网络的输出可以被输入到所述纹理分析神经网络。来自所述纹理分析神经网络的输出被输入到活体专家池化神经网络以确定所述活体预测，并且可以输出所述活体预测。可以通过在所述活体专家池化神经网络中将来自所述纹理分析神经网络的输出和来自所述身体姿态神经网络的输
出组合以确定所述活体预测来训练所述深度神经网络。可以基于从所述深度神经网络输出的活体预测来操作装置。可以基于所述活体预测来操作所述装置，包括确定用户认证。所述共同特征提取神经网络可以包括多个卷积层。
[0010]所述指令可以包括另外指令，其中所述多个任务特定的神经网络可以包括多个全连接层。来自所述面部检测神经网络和所述身体姿态神经网络的输出可以被输入到SoftMax函数。来自所述活体专家池化神经网络的输出可以被输入到SoftMax函数。可以通过以下操作来训练所述深度神经网络：基于来自所述面部检测神经网络和所述身体姿态神经网络的输出来确定第一损失函数；基于来自所述活体专家池化神经网络的输出来确定第二损失函数；基于将所述第一损失函数与所述第二损失函数组合来确定联合损失函数；以及通过所述深度神经网络反向传播所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，其包括：提供由深度神经网络基于从图像传感器提供的图像确定的来自活体生物特征分析任务的活体预测输出；其中所述活体生物特征分析在深度神经网络中执行，所述深度神经网络包括共同特征提取神经网络和多个任务特定的神经网络，所述多个任务特定的神经网络包括面部检测神经网络、身体姿态神经网络以及包括感兴趣区域(ROI)检测神经网络和纹理分析神经网络的活体神经网络，以通过以下操作来确定所述活体生物特征分析任务：将所述图像输入到所述共同特征提取神经网络以确定潜在变量；将所述潜在变量输入到所述面部检测神经网络和所述活体神经网络；将来自所述面部检测神经网络的输出输入到所述ROI检测神经网络；将来自所述ROI检测神经网络的输出输入到所述纹理分析神经网络；将来自所述纹理分析神经网络的输出输入到活体专家池化神经网络以确定所述活体预测；以及输出所述活体预测。2.如权利要求1所述的方法，其还包括通过在所述活体专家池化神经网络中将来自所述纹理分析神经网络的输出和来自所述身体姿态神经网络的输出组合以确定所述活体预测来训练所述深度神经网络。3.如权利要求1所述的方法，其还包括一种装置，其中基于从所述深度神经网络输出的活体预测来操作所述装置。4.如权利要求3所述的方法，其中基于所述活体预测来操作所述装置包括确定用户认证。5.如权利要求1所述的方法，其中所述共同特征提取神经网络包括多个卷积层。6.如权利要求1所述的方法，其中所述多个任...

【专利技术属性】
技术研发人员：阿里，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：