确定对象状态的方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种确定对象状态的方法，涉及人工智能领域，尤其涉及计算机视觉和智能交通技术领域。具体实现方案为：从针对目标对象的视频帧序列中确定图像集合，图像集合基于视频帧序列的生产时间设置有时间特征；根据图像集合中每个图像中的目标对象的行为信息，确定针对图像集合的行为特征；以及根据图像集合的行为特征以及时间特征，确定目标对象的驾驶状态。本公开还提供了一种确定对象状态的装置、电子设备和存储介质。电子设备和存储介质。电子设备和存储介质。

【技术实现步骤摘要】
确定对象状态的方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能
，尤其涉及计算机视觉和智能交通技术。更具体地，本公开提供了一种确定对象状态的方法、装置、电子设备和存储介质。

技术介绍

[0002]疲劳驾驶是导致车辆发生交通事故的主要原因之一，给人民的生命财产安全带来了巨大的损失。及时准确的预警疲劳驾驶行为，对维护道路交通安全，有着重要意义。

技术实现思路

[0003]本公开提供了一种确定对象状态的方法、装置、设备以及存储介质。
[0004]根据第一方面，提供了一种确定对象状态的方法，该方法包括：从针对目标对象的视频帧序列中确定图像集合，图像集合基于视频帧序列的生产时间设置有时间特征；根据图像集合中每个图像中的目标对象的行为信息，确定针对图像集合的行为特征；以及根据图像集合的行为特征以及时间特征，确定目标对象的驾驶状态。
[0005]根据第二方面，提供了一种确定对象状态的装置，该装置包括：时间特征确定模块，用于从针对目标对象的视频帧序列中确定图像集合，图像集合基于视频帧序列的生产时间设置有时间特征；行为特征确定模块，用于根据图像集合中每个图像中的目标对象的行为信息，确定针对图像集合的行为特征；以及驾驶状态确定模块，用于根据图像集合的行为特征以及时间特征，确定目标对象的驾驶状态。
[0006]根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0007]根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0008]根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1是根据本公开的一个实施例的可以应用确定对象状态的方法和装置的示例性系统架构示意图；
[0012]图2是根据本公开的一个实施例的确定对象状态的方法的流程图；
[0013]图3是根据本公开的一个实施例的确定针对图像集合的行为特征的方法的流程图；
[0014]图4是根据本公开的一个实施例的确定图像集合的闭眼行为特征方法的示意图；
[0015]图5A是根据本公开的一个实施例的针对打哈欠行为的第一滑动窗口的统计图；
[0016]图5B是根据本公开的一个实施例的针对低头行为的第二滑动窗口的统计图；
[0017]图5C是根据本公开的一个实施例的针对未目视前方行为的第三滑动窗口的统计图；
[0018]图6是根据本公开的一个实施例的驾驶员产生疲劳的时间分布图；
[0019]图7是根据本公开的一个实施例的机器学习模型的训练原理图；
[0020]图8是根据本公开的一个实施例的确定对象状态的方法整体流程图；
[0021]图9是根据本公开的一个实施例的确定对象状态的装置的框图；
[0022]图10是根据本公开的一个实施例的确定对象状态的方法的电子设备的框图。
具体实施方式
[0023]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024]当前，确定目标对象(例如驾驶员)是否处于疲劳驾驶的状态的方法，按信息获取方式上看，包括三类。
[0025]第一类是根据车辆行驶信号监测疲劳驾驶行为，通过车上的各类传感器，获取如车辆行驶轨迹、方向盘转向模式、制动行为分析等进行疲劳驾驶状态的分析。该类方法能够较为便捷地获取驾驶数据，且不影响司机驾驶，但其分析易受驾驶员驾驶习惯、驾驶技能以及路况等影响，准确率较低。
[0026]第二类是根据驾驶员的生理信号监测疲劳驾驶行为，常见的生理信号包括脑电图、心电图和眼电图，该类方法能够准确的通过生理信号预判驾驶员是否处于疲劳状态，但其信号采集依赖于驾驶员身上佩戴的各种信号测量工具，工具成本高，且佩戴这些工具会较大降低驾驶舒适度，易对驾驶行为造成影响。
[0027]第三类是基于计算机视觉技术，对驾驶员脸部及头部特征进行抽取及分析，监测疲劳驾驶行为。如基于眼动数据，抽取驾驶员的眼部特征，通过判断眼部是否闭合来判断疲劳状态。例如通过Adaboost(Adaptive Boosting，自适应增强)算法、多任务卷积神经网络(Multi
‑
Task Convolutional Neural Network，MTCNN)、多模式融合的递归神经网络(Multi
‑
mode Fusion Recurrent Neural Network，MFRNN)等方法，获取人脸关键部位特征后，融合眼部特征和嘴部特征，结合PERCLOS(Percentage of Eyelid Closure over the Pupil over Time，度量疲劳/瞌睡的物理量，指在单位时间内眼睛闭合程度超过某一比值(例如70％或80％)的时间占总时间的百分比)方法综合判断疲劳行为。这类方法相比于基于车辆信号和驾驶员生理信号的监测方法，鲁棒性强，成本低，非接触的监测方式对驾驶员更友好，但该类方法着重关注如何抽取人脸信息，往往采用单一脸部特征分析疲劳驾驶行为，普适性和准确率上存在一定的不足。
[0028]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0029]在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
[0030]图1是根据本公开一个实施例的可以应用确定对象状态的方法和装置的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
[0031]如图1所示，根据该实施例的系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线和/或无线通信链路等等。
[0032]终端设备101可以通过网络102与服务器103进行交互，以接收或发送消息等。终端设备101可以是各种具有图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定对象状态的方法，包括：从针对目标对象的视频帧序列中确定图像集合，所述图像集合基于所述视频帧序列的生产时间设置有时间特征；根据所述图像集合中每个图像中的目标对象的行为信息，确定针对所述图像集合的行为特征；以及根据所述图像集合的行为特征以及所述时间特征，确定所述目标对象的驾驶状态。2.根据权利要求1所述的方法，其中，所述根据所述图像集合中每个图像中的目标对象的行为信息，确定针对所述图像集合的行为特征包括：针对所述图像集合中的每个图像，确定所述图像中的目标对象的行为评估值，作为所述图像的行为评估值；使用滑动窗口从所述图像集合中依次确定多个图像子集合；针对每个图像子集合，根据该图像子集合中各个图像的行为评估值，确定该图像子集合的行为评估值；以及根据所述多个图像子集合各自的行为评估值，确定所述图像集合的行为特征。3.根据权利要求2所述的方法，其中，所述方法还包括：基于行为确定所述滑动窗口的长度，所述行为包括闭眼、打哈欠、低头和未目视前方中的至少一个。4.根据权利要求3所述的方法，其中，所述图像集合中的图像按照时间顺序排列；在所述行为为闭眼的情况下，所述基于行为确定所述滑动窗口的长度包括：根据与所述图像集合对应的时长，确定针对所述闭眼行为的滑动窗口的长度。5.根据权利要求3所述的方法，其中，在所述行为为打哈欠、低头和未目视前方中的任一种的情况下，所述确定基于行为确定所述滑动窗口的长度包括：设置彼此不同长度的多个滑动窗口；针对每个滑动窗口，确定针对该滑动窗口的所述多个图像子集合的行为评估值；并确定与每个图像子集合的行为评估值对应的精准度和召回率；根据所述每个图像子集合的行为评估值、精准度和召回率，生成所述滑动窗口的统计图；以及根据所述多个滑动窗口各自的统计图，从所述多个滑动窗口中确定目标长度的滑动窗口。6.根据权利要求2所述的方法，其中，所述针对每个图像子集合，根据该图像子集合中各个图像的行为评估值，确定该图像子集合的行为评估值包括：确定该图像子集合中各个图像的行为评估值的平均值，作为所述图像子集合的行为评估值；所述根据所述多个图像子集合各自的行为评估值，确定所述图像集合的行为特征包括：确定所述多个图像子集合的行为评估值的最大值，作为所述图像集合的行为特征。7.根据权利要求1所述的方法，其中，所述根据所述图像集合的行为特征以及所述时间特征，确定所述目标对象的驾驶状态包括：将所述行为特征以及所述时间特征输入到机器学习模型中，得到所述目标对象的驾驶
状态。8.一种确定对象状态的装置，包括：时间特征确定模块，用于从针对目标对象的视频帧序列中确定图像集合，所述图像集合基于所述视频帧序列的生产时间设置有时间特征；行为特征确定模块，用于根据所述图像集合中每个图像中的...

【专利技术属性】
技术研发人员：张凌鹰，任龙，刘俊良，韩国华，刘斌，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：