一种座舱交互方法、设备、车辆及存储介质技术

本发明专利技术属于汽车座舱人机交互技术领域，具体涉及一种座舱交互方法、设备、车辆及存储介质。一种座舱交互方法，包括：感知模块采集驾驶员的行为信息，将驾驶员的行为信息上传至预测模块中；根据预设的行为预测模型，预测模块对所述驾驶员的行为进行预测分析，获得驾驶员操作中控屏幕的概率P；当概率P超过预设的执行阈值T时，向执行模块输出操作请求M；根据操作请求M，执行模块执行相应操作。根据驾驶员行为对驾驶员的操作进行预测，执行模块控制座舱的中控屏幕上自动弹出控制按钮，使得驾驶员可以更加方便地进行按键操作，提高行车安全。提高行车安全。提高行车安全。

【技术实现步骤摘要】
一种座舱交互方法、设备、车辆及存储介质


[0001]本专利技术属于汽车座舱人机交互
，具体涉及一种座舱交互方法、设备、车辆及存储介质。

技术介绍

[0002]智能座舱是汽车智能化发展的重要方向，随着车辆的硬件配置何性能的趋同，座舱的智能化是衡量一辆汽车的重要组成部分。智能座舱，尤其是中控大屏承担了目前大部分的人机接口功能，承担了车辆与车辆交互的核心功能。车辆功能按钮的触摸化且全部集中于车机显示屏。受到光照反射、车机系统更新迭代导致按键位置变化等因素的影响，会导致行车时按键位置不易确认、寻找相关按键操作过程繁杂从而导致驾驶员视线离开路面导致安全问题。

技术实现思路

[0003]本专利技术的目的是：旨在提供一种座舱交互方法、设备、车辆及存储介质，根据驾驶员行为对驾驶员的操作进行预测，执行模块控制座舱的中控屏幕上自动弹出控制按钮，使得驾驶员可以更加方便地进行按键操作，提高行车安全。
[0004]为实现上述技术目的，本专利技术采用的技术方案如下：
[0005]第一方面，本申请的实施例提供了一种座舱交互方法，应用于座舱交互设备，所述设备包括有感知模块、预测模块和执行模块，所述预测模块用于根据驾驶员行为预测驾驶员的操作，所述方法包括：
[0006]所述感知模块采集驾驶员的行为信息，将所述驾驶员的行为信息上传至所述预测模块中；
[0007]根据预设的行为预测模型，所述预测模块对所述驾驶员行为进行预测分析，获得驾驶员操作中控屏幕的概率P；
[0008]当所述概率P超过预设的执行阈值T时，向所述执行模块输出操作请求M；
[0009]根据所述操作请求M，所述执行模块执行相应操作。
[0010]结合第一方面，在一些可选的实施方式中，所述感知模块采集驾驶员的行为信息，包括：
[0011]所述感知模块包括DMS摄像头、CAN总线和车内环境传感器；所述DMS摄像头用作采集驾驶员的操作图像和音频，所述CAN总线采集车辆行驶环境信息，所述车内传感器采集车内环境信息。
[0012]结合第一方面，在一些可选的实施方式中，根据预设的行为预测模型，所述预测模块对所述驾驶员行为进行预测分析，获得驾驶员操作中控屏幕的概率P，包括：
[0013]所述行为预测模型的构建，以驾驶员操作座舱的显示屏图像作为正样本，以驾驶员驾车和在车内未操作座舱的显示屏作为负样本，利用MobileNet进行迁移学习训练，将所述行为预测模型输出的结果类型分为两类，仅计算有操作意愿和无操作意愿的0～1概率分
布，获得驾驶员操作中控屏幕的概率P。
[0014]结合第一方面，在一些可选的实施方式中，根据预设的行为预测模型，所述预测模块对所述驾驶员的行为进行预测分析，获得驾驶员操作中控屏幕的概率P，包括：
[0015]所述行为预测模型数据的输入信息来自于所述CAN总线的信息和预设的座舱操作记录，以过往车辆状态信息和座舱操作历史记录作为第一输入信息，以当前车辆CAN总线状态信息和座舱当前状态信息作为第二输入信息，将所述第一输入信息和第二输入信息结构化处理后采用矩阵相似度算法进行转换处理，生成所述行为预测模型的输入信息。
[0016]结合第一方面，在一些可选的实施方式中，当所述概率P超过预设的执行阈值T时，向所述执行模块输出操作请求M，包括：
[0017]当所述概率P超过预设的执行阈值T时，根据所述车辆行驶环境信息和所述车内环境信息，所述预测模块获得车辆运行状态，结合预设的驾驶员历史操作记录，确定需要执行的操作请求M。
[0018]结合第一方面，在一些可选的实施方式中，根据所述操作请求M，所述执行模块执行相应操作，包括：
[0019]根据所述操作请求M，所述执行模块调用预设的操作按键列表，在座舱的中控屏幕上弹出推荐的操作按键。
[0020]第二方面，本申请实施例还提供一种座舱交互设备，其特征在于：包括有感知模块、预测模块、执行模块和存储模块，所述预测模块用于根据驾驶员行为预测驾驶员的操作，所述存储模块内存储计算机程序，当所述计算机程序被所述预测模块和执行模块执行时，使得所述座舱交互设备执行上述的方法。
[0021]第三方面，本申请实施例还提供一种车辆，所述车辆包括车辆本体及上述的座舱交互设备，所述座舱交互设备设置于所述车辆上。
[0022]第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
[0023]采用上述技术方案的专利技术，具有如下优点：
[0024]感知模块采集座舱内的驾驶员的行为信息和车辆的行驶状态信息，预测模块与驾驶员的操作进行预测，当预测到驾驶员会进行中控屏操作的概率P超过预设的操作执行阈值T之后，执行模块自动调取相应的按键列表，并将按键列表显示在中控屏幕上。驾驶员可以方便快捷地完成在座舱的中控屏上的按键操作，避免驾驶员由于寻找中控屏上的操作按键导致驾驶员的视线长时间离开道路，从而提高驾驶的安全性。
附图说明
[0025]本专利技术可以通过附图给出的非限定性实施例进一步说明；
[0026]图1为本申请实施例提供的座舱交互设备的框图；
[0027]图2为本申请实施例提供的座舱交互方法的流程示意图；
[0028]图3为本申请实施例提供的座舱交互方法的操作按键调用步骤示意图；
[0029]主要元件符号说明如下：
[0030]10、座舱交互设备；11、感知模块；12、预测模块；13、执行模块。
具体实施方式
[0031]以下将结合附图和具体实施例对本专利技术进行详细说明，需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号，附图中未绘示或描述的实现方式，为所属
中普通技术人员所知的形式。另外，实施例中提到的方向用语，例如“上”、“下”、“顶”、“底”、“左”、“右”、“前”、“后”等，仅是参考附图的方向，并非用来限制本专利技术的保护范围。
[0032]如图1所示，本申请的实施例提供一种座舱交互设备10，座舱交互设备10可以包括感知模块11、预测模块12、执行模块13和存储模块，所述预测模块12用于根据驾驶员行为预测驾驶员的操作。
[0033]在本实施例中，感知模块11采集座舱内的驾驶员的行为信息和车辆的行驶状态信息，预测模块12与驾驶员的操作进行预测，当预测到驾驶员会进行中控屏操作的概率P超过预设的操作执行阈值T之后，执行模块13自动调取相应的按键列表，并将按键列表显示在中控屏幕上。驾驶员可以方便快捷地完成在座舱的中控屏上的按键操作，避免驾驶员由于寻找中控屏上的操作按键导致驾驶员的视线长时间离开道路，从而提高驾驶的安全性。
[0034]可以理解地，感知模块11可以包括音频视频采集传感器、CAN总线以及车内环境传感器，车内环境传感器又可以包括
[0035]所述存储模块内存储计算机程序，当所述计算机程序被所述预测模块12和执行模块1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种座舱交互方法，其特征在于：应用于座舱交互设备，所述设备包括有感知模块、预测模块和执行模块，所述预测模块用于根据驾驶员行为预测驾驶员的操作，所述方法包括：所述感知模块采集驾驶员的行为信息，将所述驾驶员的行为信息上传至所述预测模块中；根据预设的行为预测模型，所述预测模块对所述驾驶员的行为进行预测分析，获得驾驶员操作中控屏幕的概率P；当所述概率P超过预设的执行阈值T时，向所述执行模块输出操作请求M；根据所述操作请求M，所述执行模块执行相应操作。2.根据权利要求1所述的一种座舱交互方法，其特征在于：所述感知模块采集驾驶员的行为信息，包括：所述感知模块包括DMS摄像头、CAN总线和车内环境传感器；所述DMS摄像头用作采集驾驶员的操作图像和音频，所述CAN总线采集车辆行驶环境信息，所述车内传感器采集车内环境信息。3.根据权利要求1所述的一种座舱交互方法，其特征在于：根据预设的行为预测模型，所述预测模块对所述驾驶员的行为进行预测分析，获得驾驶员操作中控屏幕的概率P，包括：所述行为预测模型的构建，以驾驶员操作座舱的显示屏图像作为正样本，以驾驶员驾车和在车内未操作座舱的显示屏作为负样本，利用MobileNet进行迁移学习训练，将所述行为预测模型输出的结果类型分为两类，仅计算有操作意愿和无操作意愿的0～1概率分布，获得驾驶员操作中控屏幕的概率P。4.根据权利要求2所述的一种座舱交互方法，其特征在于：根据预设的行为预测模型，所述预测模块对所述驾驶员的行为进行预测分析，获得驾驶员操作中控屏幕的概率P，包括：所述行为预测模型数据的输入信息来自于所述CAN总线的信息和...

【专利技术属性】
技术研发人员：王岳超，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：