危险驾驶行为的识别方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种危险驾驶行为的识别方法、装置、电子设备及存储介质，通过获取在驾驶室内用户的视频数据和音频数据，以实时监控用户；对视频数据和音频数据进行特征提取，得到多个单模态特征，以提取用户的微表情特征、动作特征和声音特征，从而能够在听觉和视觉上进行模态融合分析；并对多个单模态特征进行特征融合，得到融合特征，以及对融合特征进行二分类，得到用户的驾驶行为结果，相比于传统单模态处理方式，能够获取更加全面的用户信息，更能充分利用异构信息，使得驾驶行为的识别结果更具有可信度和准确度；最后若驾驶行为结果属于危险驾驶行为，则向用户发出警告信息，以达到提示用户安全驾驶的目的。到提示用户安全驾驶的目的。到提示用户安全驾驶的目的。

【技术实现步骤摘要】
危险驾驶行为的识别方法、装置、电子设备及存储介质


[0001]本申请涉及安全驾驶领域，尤其涉及一种危险驾驶行为的识别方法、装置、电子设备及存储介质。

技术介绍

[0002]醉酒驾驶行为属于抽象危险型驾驶行为，其对人民群众生命和健康造成严重危害，也给社会带来不安定因素。为此，交警通过观察驾驶员的脸部颜色和车辆行事路线，拦截车辆，并结合酒精检测仪检测驾驶员呼出的气体中的酒精含量，判断驾驶员是否酒驾。但是人工拦截检测的方式容易有落网之鱼，所以为了提高交通运输安全，需要更加智能的检测方式。
[0003]目前，有相关技术方案在驾驶室安装的酒精浓度检测仪，当酒精浓度检测仪检测到的酒精浓度大于预设值时，警告用户停止驾驶并控制车辆的点火系统。但是由于部分食品也可能存在酒精，或者散发在驾驶室中的酒精较少，无法被检测仪检测到，从而导致酒精浓度检测仪存在误判或漏判的情况。

技术实现思路

[0004]本申请提供了一种危险驾驶行为的识别方法、装置、电子设备及存储介质，以解决现有危险驾驶行为的检测方法存在检测准确率低的技术问题。
[0005]为了解决上述技术问题，第一方面，本申请实施例提供了一种危险驾驶行为的识别方法，包括：
[0006]获取在驾驶室内用户的视频数据和音频数据；
[0007]对视频数据和音频数据进行特征提取，得到多个单模态特征，单模态特征包括微表情特征、动作特征和声音特征；
[0008]对多个单模态特征进行特征融合，得到融合特征；
[0009]对融合特征进行二分类，得到用户的驾驶行为结果；
[0010]若驾驶行为结果属于危险驾驶行为，则向用户发出警告信息。
[0011]本实施例通过获取在驾驶室内用户的视频数据和音频数据，以实时监控用户；对视频数据和音频数据进行特征提取，得到多个单模态特征，以提取用户的微表情特征、动作特征和声音特征，从而能够在听觉和视觉上进行模态融合分析；并对多个单模态特征进行特征融合，得到融合特征，以及对融合特征进行二分类，得到用户的驾驶行为结果，相比于传统单模态处理方式，能够获取更加全面的用户信息，更能充分利用异构信息，使得驾驶行为的识别结果更具有可信度和准确度；最后若驾驶行为结果属于危险驾驶行为，则向用户发出警告信息，以达到提示用户安全驾驶的目的。
[0012]在一实施例中，对视频数据和音频数据进行特征提取，得到多个单模态特征，包括：
[0013]利用预设的第一多层感知机，对视频数据中的视频图像进行特征提取，得到微表
情特征；
[0014]利用预设的3D卷积神经网络，对视频数据进行特征提取，得到动作特征；
[0015]利用预设的openSMILE工具，对音频数据进行特征提取，得到声音特征。
[0016]本实施例通过不同网络或工具，分别提取视频数据和音频数据的各个单模态特征，以便于获取全面的用户特征信息，从而提高后续识别过程的识别准确度。
[0017]在一优选实施例中，利用预设的第一多层感知机，对视频数据中的视频图像进行特征提取，得到微表情特征，包括：
[0018]提取视频数据的每帧视频图像中用户的脸部特征；
[0019]利用第一多层感知机，将脸部特征与预设的微表情特征进行对比，确定脸部特征对应的微表情特征。
[0020]本实施例通过脸部特征与预设的微表情特征进行对比，以融入特征细节，提高识别准确度和可信度。
[0021]在一优选实施例中，利用预设的3D卷积神经网络，对视频数据进行特征提取，得到动作特征，包括：
[0022]将视频数据的通道数、帧数、每帧视频图像的高度和宽度输入到3D卷积神经网络；
[0023]利用3D卷积神经网络中的3D滤波器，对视频数据进行卷积操作，得到卷积结果数据；
[0024]对卷积结果数据进行池化操作和全连接操作，得到动作特征。
[0025]本实施例通过3D卷积神经网络进行特征提取，能够得到有时间维度的帧间运动信息，从而能够更好的在时间维度和空间维度上捕获视频数据中的动作特征，使得提取到的动作特征更加全面，进而提高识别准确度和可信度。
[0026]在一优选实施例中，利用预设的openSMILE工具，对音频数据进行特征提取，得到声音特征，包括：
[0027]去除音频数据的背景噪声，并将去除背景噪声后的音频数据进行标准化，得到目标音频数据；
[0028]利用openSMILE工具，对目标音频数据进行特征提取，得到高维音频特征；
[0029]将高维音频特征输入到预设的第二多层感知机，输出声音特征。
[0030]本实施例通过去噪、标准化、特征提取和感知机降维，能够避免噪声干扰和使特征提取过程的表现更好，整体的处理过程更加高效。
[0031]在一实施例中，对多个单模态特征进行特征融合，得到融合特征，包括：
[0032]根据Concatenation融合方式，对微表情特征、动作特征和声音特征进行特征拼接，得到融合特征。
[0033]在一实施例中，若驾驶行为结果属于危险驾驶行为，则向用户发出警告信息之后，还包括：
[0034]将视频数据与音频数据进行时间帧对齐和组合，得到录像数据；
[0035]将录像数据和驾驶行为结果发送至预设的监管设备。
[0036]本实施例通过将视频数据和音频数据组合为完整录像数据，将录像数据和驾驶行为结果发送监管设备，以便相关监管人员对该驾驶行为结果及时处理，防止危险驾驶行为导致交通事故。
[0037]第二方面，本申请实施例提供一种危险驾驶行为的识别装置，包括：
[0038]获取模块，用于获取在驾驶室内用户的视频数据和音频数据；
[0039]提取模块，用于对视频数据和音频数据进行特征提取，得到多个单模态特征，单模态特征包括微表情特征、动作特征和声音特征；
[0040]融合模块，用于对多个单模态特征进行特征融合，得到融合特征；
[0041]分类模块，用于对融合特征进行二分类，得到用户的驾驶行为结果；
[0042]发出模块，用于若驾驶行为结果属于危险驾驶行为，则向用户发出警告信息。
[0043]第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的危险驾驶行为的识别方法。
[0044]第四方面，本申请实施例提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的危险驾驶行为的识别方法。
[0045]需要说明的是，上述第二方面至第四方面的有益效果请参见第一方面的相关描述，在此不再赘述。
附图说明
[0046]图1为本申请实施例提供的危险驾驶行为的识别方法的流程示意图；
[0047]图2为本申请实施例提供的危险驾驶行为的识别装置的结构示意图；
[0048]图3为本申请实施例提供的电子设备的结构示意图。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种危险驾驶行为的识别方法，其特征在于，包括：获取在驾驶室内用户的视频数据和音频数据；对所述视频数据和所述音频数据进行特征提取，得到多个单模态特征，所述单模态特征包括微表情特征、动作特征和声音特征；对多个所述单模态特征进行特征融合，得到融合特征；对所述融合特征进行二分类，得到所述用户的驾驶行为结果；若所述驾驶行为结果属于危险驾驶行为，则向所述用户发出警告信息。2.如权利要求1所述的危险驾驶行为的识别方法，其特征在于，所述对所述视频数据和所述音频数据进行特征提取，得到多个单模态特征，包括：利用预设的第一多层感知机，对所述视频数据中的视频图像进行特征提取，得到所述微表情特征；利用预设的3D卷积神经网络，对所述视频数据进行特征提取，得到所述动作特征；利用预设的openSMILE工具，对所述音频数据进行特征提取，得到所述声音特征。3.如权利要求2所述的危险驾驶行为的识别方法，其特征在于，所述利用预设的第一多层感知机，对所述视频数据中的视频图像进行特征提取，得到所述微表情特征，包括：提取所述视频数据的每帧视频图像中用户的脸部特征；利用所述第一多层感知机，将所述脸部特征与预设的微表情特征进行对比，确定所述脸部特征对应的微表情特征。4.如权利要求2所述的危险驾驶行为的识别方法，其特征在于，所述利用预设的3D卷积神经网络，对所述视频数据进行特征提取，得到所述动作特征，包括：将所述视频数据的通道数、帧数、每帧视频图像的高度和宽度输入到所述3D卷积神经网络；利用所述3D卷积神经网络中的3D滤波器，对所述视频数据进行卷积操作，得到卷积结果数据；对所述卷积结果数据进行池化操作和全连接操作，得到所述动作特征。5.如权利要求2所述的危险驾驶行为的识别方法，其特征在于，所述利用预设的openSMILE工具，对所述音频数据...

【专利技术属性】
技术研发人员：郑鹏，刘志徽，周东，
申请(专利权)人：广西中科曙光云计算有限公司，
类型：发明
国别省市：