通过迁移学习生成具有不同疲劳程度的视频数据集的系统和方法技术方案

本公开涉及用于训练应用程序以识别驾驶员疲劳的技术。根据从第一神经网络学习的图像的第一表示来重构面部表情图像。基于所述第一表示，使用第二神经网络以在先前的间隔或程度生成的图像中生成表达当前程度或疲劳的图像。根据所述第一表示以及从所述第二神经网络学习的第二表示来重构所述图像，并且根据相应的图像光流来生成内插视频数据的中间图像，其中，所述光流是通过将图像之间的时间帧中的图像融合在一起而形成的。根据所述数据来编译驾驶员的假疲劳状态视频，以在其中训练应用程序以检测驾驶员疲劳。以检测驾驶员疲劳。以检测驾驶员疲劳。

【技术实现步骤摘要】
【国外来华专利技术】通过迁移学习生成具有不同疲劳程度的视频数据集的系统和方法


[0001]本公开大体上涉及驾驶员疲劳的检测，具体涉及生成视频数据集以训练应用程序以供用于识别驾驶员何时疲倦。

技术介绍

[0002]驾驶员疲劳或困倦正日益成为车辆事故的常见原因。驾驶员困倦检测和监控对于确保安全的驾驶环境至关重要，这不仅对困倦的驾驶员来说是如此，而且对于可能会受到困倦的驾驶员影响的附近其他驾驶员来说也是如此。具有监控驾驶员能力的车辆允许车辆采取措施以防止或协助防止因驾驶员困倦而导致的事故。举例来说，可以启用报警系统以警告驾驶员其处于困倦状态，或者可以启用自动功能，诸如制动和转向以控制车辆，直到驾驶员不再疲倦为止。然而，很少有公共数据集可以训练应用程序以对特定驾驶员执行此种检测和监控，其中每个驾驶员都具有其自身的个人能力以承受各种程度的疲劳，以及具有不同指标以显示特定驾驶员的各种睡意程度。因此，如果根据单一标准来确定驾驶员的睡意状态，驾驶员检测和监控系统可能会过度响应或响应不足，这可能不会提高驾驶员的安全性。

技术实现思路

[0003]根据本公开的一个方面，存在一种用于训练应用程序以识别驾驶员疲劳的计算机实施的方法：使用第一神经网络从多个第二面部表情图像生成多个第一面部表情图像，其中，根据从所述第一神经网络学习的所述多个第二面部表情图像的第一表示来重构所述多个第一面部表情图像；基于所述第一表示，使用第二神经网络从表达当前疲劳程度之前的疲劳程度的第三面部表情图像和第二图像生成表达所述当前疲劳程度的第一图像，其中，根据所述第一表示以及从所述第二神经网络学习的所述第三面部表情图像的第二表示来重构所述第一图像和所述第二图像；在相应的光流期间，从所述第一图像和所述第二图像生成内插视频数据的多个中间图像，其中，所述光流通过融合所述第一图像和所述第二图像来形成并且位于所述第一图像与所述第二图像之间的时间帧中；以及，至少使用所述第一图像和所述第二图像以及所述内插视频数据的所述多个中间图像来编译驾驶员的假疲劳状态视频，以在其中训练所述应用程序以检测所述驾驶员疲劳。
[0004]任选地，在任一前述方面中，其中，所述第一个神经网络执行以下步骤：将所述多个第二面部表情图像映射到相应的第一表示；以及，将所述相应的第一表示映射到具有与所述多个第二面部表情图像相同的表情的所述多个第一面部表情图像。
[0005]任选地，在任一前述方面中，其中，所述第二个神经网络包括执行以下步骤的条件变分自动编码器：对所述第三面部表情图像和所述第二图像进行编码，并且输出描述所述第二表示的每个维度的分布的参数；以及，通过计算每个参数相对于输出损失的关系对所述第二表示的每个维度的所述分布进行解码，以重构所述第三面部表情图像和所述第二图
像。
[0006]任选地，在任一前述方面中，其中，所述第二神经网络还包括执行以下步骤的生成式对抗网络(generative adversarial network，GAN)：将所述重构图像与所述第三面部表情图像进行比较，以生成鉴别器损失；将所述重构图像与处于相同程度的地面真实图像进行比较，以生成重构损失；基于所述鉴别器损失和所述重构损失，预测所述重构图像具有与所述第三面部表情图像相对应的外观的可能性；以及，当所述预测将所述第一图像分类为真实图像时，将所述重构图像作为表达当前疲劳程度的所述第一图像而输出、并且作为表达所述当前疲劳程度之前的疲劳程度的所述第二图像而输入到所述条件变分自动编码器。
[0007]任选地，在任一前述方面中，其中，所述重构损失指示所述第三面部表情图像与所述重构图像之间的相异度，并且所述鉴别器损失指示生成不正确的预测的成本，所述预测是指所述重构图像具有所述第三面部表情图像的所述外观。
[0008]任选地，在任一前述方面中，所述计算机实施的方法还包括：根据在不同时间帧处的所述第一图像与所述第二图像之间的差异，以不同的疲劳程度迭代地生成所述第一图像，直到所述重构损失和所述鉴别器损失的总值满足预定标准。
[0009]任选地，在任一前述方面中，其中，生成所述多个中间图像还包括：在所述相应的光流期间，预测所述第一图像与所述第二图像之间的中间图像；以及，内插所述第一图像和所述第二图像，以生成所述相应的光流，以在其中生成所述驾驶员的所述假疲劳状态视频。
[0010]任选地，在任一前述方面中，其中，生成所述多个中间图像还包括：接收以输入顺序布置的中间图像的序列；使用编码器处理中间图像的所述序列，以将中间图像的所述序列转换成中间图像的所述序列的替代性表示；以及，使用解码器处理中间图像的所述序列的所述替代性表示，以生成中间图像的所述序列的目标序列，所述目标序列包括根据输出顺序布置的多个输出。
[0011]任选地，在任一前述方面中，其中，所述第一表示通过学习分布将所述多个第二面部表情图像映射到所述第一表示。
[0012]任选地，在任一前述方面中，其中，所述第二表示通过学习分布将所述第三面部表情图像映射到所述第二表示。
[0013]根据本公开的一个其它方面，提供一种用于训练应用程序以识别驾驶员疲劳的设备，所述设备包括：非瞬时性存储器，其包括指令；以及一个或多个处理器，其与所述存储器通信，其中，所述一个或多个处理器执行所述指令以：使用第一神经网络从多个第二面部表情图像生成多个第一面部表情图像，其中，根据从所述第一神经网络学习的所述多个第二面部表情图像的第一表示来重构所述多个第一面部表情图像；基于所述第一表示，使用第二神经网络从表达当前疲劳程度之前的疲劳程度的第三面部表情图像和第二图像生成表达所述当前疲劳程度的第一图像，其中，根据所述第一表示以及从所述第二神经网络学习的所述第三面部表情图像的第二表示来重构所述第一图像和所述第二图像；在相应的光流期间，从所述第一图像和所述第二图像生成内插视频数据的多个中间图像，其中，所述光流通过融合所述第一图像和所述第二图像来形成并且位于所述第一图像与所述第二图像之间的时间帧中；以及，至少使用所述第一图像和所述第二图像以及所述内插视频数据的所述多个中间图像来编译驾驶员的假疲劳状态视频，以在其中训练所述应用程序以检测所述驾驶员疲劳。
[0014]根据本公开的又一个其它方面，存在一种非瞬时性计算机可读介质，其存储用于训练应用程序以识别驾驶员疲劳的指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下步骤：使用第一神经网络从多个第二面部表情图像生成多个第一面部表情图像，其中，根据从所述第一神经网络学习的所述多个第二面部表情图像的第一表示来重构所述多个第一面部表情图像；基于所述第一表示，使用第二神经网络从表达当前疲劳程度之前的疲劳程度的第三面部表情图像和第二图像生成表达所述当前疲劳程度的第一图像，其中，根据所述第一表示以及从所述第二神经网络学习的所述第三面部表情图像的第二表示来重构所述第一图像和所述第二图像；在相应的光流期间，从所述第一图像和所述第二图像生成内插视频数据的多个中间图像，其中，所述光流通过融合所述第一图像和所述第二图像来形成并且位于所述第一图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于训练应用程序以识别驾驶员疲劳的计算机实施的方法：使用第一神经网络从多个第二面部表情图像生成多个第一面部表情图像，其中，根据从所述第一神经网络学习的所述多个第二面部表情图像的第一表示来重构所述多个第一面部表情图像；基于所述第一表示，使用第二神经网络从表达当前疲劳程度之前的疲劳程度的第三面部表情图像和第二图像生成表达所述当前疲劳程度的第一图像，其中，根据所述第一表示以及从所述第二神经网络学习的所述第三面部表情图像的第二表示来重构所述第一图像和所述第二图像；在相应的光流期间，从所述第一图像和所述第二图像生成内插视频数据的多个中间图像，其中，所述光流通过融合所述第一图像和所述第二图像来形成并且位于所述第一图像与所述第二图像之间的时间帧中；以及至少使用所述第一图像和所述第二图像以及所述内插视频数据的所述多个中间图像来编译驾驶员的假疲劳状态视频，以在其中训练所述应用程序以检测所述驾驶员疲劳。2.根据权利要求1所述的计算机实施的方法，其特征在于，所述第一神经网络执行以下步骤：将所述多个第二面部表情图像映射到相应的第一表示；以及将所述相应的第一表示映射到具有与所述多个第二面部表情图像相同的形状的所述多个第一面部表情图像。3.根据权利要求1所述的计算机实施的方法，其特征在于，所述第二神经网络包括执行以下步骤的条件变分自动编码器：对所述第三面部表情图像和所述第二图像进行编码，并且输出描述所述第二表示的每个维度的分布的参数；以及通过计算每个参数相对于输出损失的关系对所述第二表示的每个维度的所述分布进行解码，以重构所述第三面部表情图像和所述第二图像。4.根据权利要求1至3中任一项所述的计算机实施的方法，其特征在于，所述第二神经网络还包括执行以下步骤的生成式对抗网络：将所述重构图像与所述第三面部表情图像进行比较，以生成鉴别器损失；将所述重构图像与处于相同程度的地面真实图像进行比较，以生成重构损失；基于所述鉴别器损失和所述重构损失，预测所述重构图像具有与所述第三面部表情图像相对应的外观的可能性；以及当所述预测将所述第一图像分类为真实图像时，将所述重构图像作为表达当前疲劳程度的所述第一图像而输出、并且作为表达所述当前疲劳程度之前的疲劳程度的所述第二图像而输入到所述条件变分自动编码器。5.根据权利要求1至4中任一项所述的计算机实施的方法，其特征在于，所述重构损失指示所述第三面部表情图像与所述重构图像之间的相异度，并且所述鉴别器损失指示生成不正确的预测的成本，所述预测是指所述重构图像具有所述第三面部表情图像的所述外观。6.根据权利要求1至4中任一项所述的计算机实施的方法，其特征在于，还包括：根据在不同时间帧处的所述第一图像与所述第二图像之间的差异，以不同的疲劳程度迭代地生成
所述第一图像，直到所述重构损失和所述鉴别器损失的总值满足预定标准。7.根据权利要求1所述的计算机实施的方法，其特征在于，生成所述多个中间图像还包括：在所述相应的光流期间，预测所述第一图像与所述第二图像之间的中间图像；以及内插所述第一图像和所述第二图像，以生成所述相应的光流，以在其中生成所述驾驶员的所述假疲劳状态视频。8.根据权利要求1所述的计算机实施的方法，其特征在于，生成所述多个中间图像还包括：接收以输入顺序布置的中间图像的序列；使用编码器处理中间图像的所述序列，以将中间图像的所述序列转换成中间图像的所述序列的替代性表示；以及使用解码器处理中间图像的所述序列的所述替代性表示，以生成中间图像的所述序列的目标序列，所述目标序列包括根据输出顺序布置的多个输出。9.根据权利要求1所述的计算机实施的方法，其特征在于，所述第一表示通过学习分布将所述多个第二面部表情图像映射到所述第一表示。10.根据权利要求1所述的计算机实施的方法，其特征在于，所述第二表示通过学习分布将所述第三面部表情图像映射到所述第二表示。11.一种用于训练应用程序以识别驾驶员疲劳的设备，其特征在于，包括：非瞬时性存储器，其包括指令；以及一个或多个处理器，其与所述存储器通信，其中，所述一个或多个处理器执行所述指令以：使用第一神经网络从多个第二面部表情图像生成多个第一面部表情图像，其中，根据从所述第一神经网络学习的所述多个第二面部表情图像的第一表示来重构所述多个第一面部表情图像；基于所述第一表示，使用第二神经网络从表达当前疲劳程度之前的疲劳程度的第三面部表情图像和第二图像生成表达所述当前疲劳程度的第一图像，其中，根据所述第一表示以及从所述第二神经网络学习的所述第三面部表情图像的第二表示来重构所述第一图像和所述第二图像；在相应的光流期间，从所述第一图像和所述第二图像生成内插视频数据的多个中间图像，其中，所述光流通过融合所述第一图像和所述第二图像来形成并且位于所述第一图像与所述第二图像之间的时间帧中；以及至少使用所述第一图像和所述第二图像以及所述内插视频数据的所述多个中间图像来编译驾驶员的假疲劳状态视频，以在其中训练所述应用程序以检测所述驾驶员疲劳。12.根据权利要求11所述的设备，其特征在于，所述第一神经网络执行以下步骤：将所述多个第二面部表情图像映射到相应的第一表示；以及将所述相应的第一表示映射到具有与所述多个第二面部表情图像相同的表情的所述多个第一面部表情图像。13.根据权利要求11所述的设备，其特征在于，所述第二神经网络包括执行以下步骤的条件变分自动编码器：
对所述第三面部表情图像和所述第二图像进行编码，并且输出描述所述第二表示的每个维度的分布的参数；以及通过计算每个参数相对于输出损失的关系对所述第二表示的每个维度的所述分布进行解码，以重构所述第三面部表情图像和所述第二图像。14.根据权利要求11至13中任一项所述的设备，其特征在于，所述第二神经网络还包括执行以下步骤的生成式对抗网络：将所述重构图像与所述第三面部表情图像进行比较，以生成鉴别器损失；将所述重构图像与处于相同程度的地面真实图像进行比较，以生成重构损失；基于所述鉴别器损失和所述重构损失，预测所...

【专利技术属性】
技术研发人员：贾程程，杨磊，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：