一种基于实时流媒体的智能座舱系统技术方案

本申请涉及智能座舱系统技术领域，尤其涉及一种基于实时流媒体的智能座舱系统，包括采集模块和多模态交互终端。采集模块用于采集车辆内外的信息，并通过处理器和CAN服务器进行采集信息的接收。将采集信息与数据库内的信息进行比对后，通过显示屏将所有的信息和指令显示出来。本申请通过采集模块和多模态交互终端，采集模块进行车内外环境、危险以及驾驶员行为信息的采集，然后将采集后的数据传输到处理模块进行处理，同时显示屏进行车外实景图像、车辆行驶虚拟景象和/或导航虚拟地图，完成与驾驶员的交互，使智能座舱可以通过与驾驶员的交互便捷地展现应用并提供相应的服务。的交互便捷地展现应用并提供相应的服务。的交互便捷地展现应用并提供相应的服务。

【技术实现步骤摘要】
一种基于实时流媒体的智能座舱系统


[0001]本申请涉及智能座舱系统
，尤其是涉及一种基于实时流媒体的智能座舱系统。

技术介绍

[0002]目前，智慧交通车路智能协同依靠网络、大数据以及路测设备实现。车身周边环境感知依靠车辆安装的图像传感器、激光和毫米波雷达实现。车身感知依靠各种车辆传感器，车身交互通过各种ECU（Electronic Control Unit）电子控制单元，又称“行车电脑”、“车载电脑”。相关技术中智能座舱系统通常以单屏显示数字或者文字内容为主。
[0003]上述中的现有技术方案存在以下缺陷：单屏展示信息量少，与驾驶员交互性差，通过与驾驶员的交互展现应用并提供相应的服务的便捷性和灵活性不佳。

技术实现思路

[0004]本申请目的是提供一种基于实时流媒体的智能座舱系统，具有多屏展示，灵活与驾驶员交互的特点。
[0005]本申请的上述专利技术目的一是通过以下技术方案得以实现的：
[0006]一种基于实时流媒体的智能座舱系统，包括：
[0007]采集模块，用于采集车内感应信号和车外实景图像及车辆行驶数据，并将车辆行驶数据传输至CAN服务器；
[0008]多模态交互终端，包括数据库和处理模块，具有显示屏和CAN接口，CAN接口用于接收CAN服务器基于车辆行驶数据反馈的车辆行驶虚拟图像；
[0009]处理模块用于对感应信号进行转换和识别，并获得识别特征，将识别特征与数据库中预存的识别特征与操控指令之间一一对应的映射关系表进行对照，并获得识别特征对应的操控指令；
[0010]显示屏基于所述操控指令分屏显示所述车外实景图像、车辆行驶虚拟景象和/或导航虚拟地图。
[0011]通过采用上述技术方案，通过采集模块进行感应信号、车外实景图像和车辆行驶数据的采集，车外实景图像通过显示屏进行显示，车辆行驶数据通过CAN接口向CAN服务器发送，多模态交互终端接收CAN服务器基于车辆行驶数据生成的车辆行驶虚拟图像数据，并通过显示屏分屏显示；驾驶员可以通过特定的手势、或声音或操作显示屏或触发按键等多种方式与终端交互，交互的信息通过采集模块或终端的感应器件以感应信号的形式获得，处理模块接收到感应信号进行识别后获得识别特征后，调用数据库通过映射关系表获得与识别特征对应的操控指令，然后基于操控指令在显示屏上显示，使智能座舱与驾驶员的交互展现应用并提供相应的服务的便捷性和灵活性较好。
[0012]本申请在一较佳示例中可以进一步配置为：所述采集模块包括：
[0013]行驶传感器，安装在车身上，具有感应端和CAN接口，感应端用于采集车辆行驶数
据，CAN接口通过CAN总线与CAN服务器连接；
[0014]外部摄像头，设置在车身上，用于采集车外多角度实景图像，输出接口与处理模块连接；
[0015]所述处理模块包括：
[0016]拼接子模块，用于对多角度实景图像进行拼接获得拼接图像。
[0017]通过采用上述技术方案，行驶传感器用于采集车辆的速度、胎压、位置、距离等车辆行驶数据，通过CAN接口以及CAN总线向CAN服务器传输，CAN服务器通过对车辆行驶数据进行处理和计算，生成的车辆行驶虚拟图像数据反馈给终端，终端通过显示屏能够显示车辆的虚拟行驶景象，便于驾驶员了解车辆行驶状况；外部摄像头可以设置多个，分别采集车辆不同角度的外部环境实景图像，通过输出接口传输给处理模块，通过拼接子模块对多角度实景图像进行拼接后可在显示屏上显示，有利于驾驶员全方位了解车辆前、后、左、右多个角度的状况，并且通过拼接后的全景图像能够实现图像之间的衔接，提高驾驶员视觉上的感知，能够更为清楚的正视全方位视角景象，有利于安全驾驶；以便于处理模块对图像进行处理或直接给终端通过多屏或单屏展示，便于驾驶员了解车辆周围状况。
[0018]本申请在一较佳示例中可以进一步配置为：所述采集模块还包括：
[0019]TOF传感器，用于采集驾驶员手势信息，输出接口与处理模块连接；
[0020]所述处理模块还包括：
[0021]手势识别子模块，用于对手势信息进行识别获得手势识别特征，基于手势识别特征与操控指令之间的映射关系获得手势操控指令。
[0022]通过采用上述技术方案，TOF传感器可以采集驾驶员的手势信息，驾驶员可以通过特定的手势来操控终端，通过TOF传感器采集驾驶员手势信息并通过手势识别子模块处理后获得手势操作操控指令，基于手势操控指令控制终端；在驾驶员不方便操作终端的触控屏或按键时，可以通过上述多种方式实现与终端的信息交互，大大提高了驾驶员与终端的交互方式及灵活性，方便用户操作，提升体验感。
[0023]本申请在一较佳示例中可以进一步配置为：所述采集模块包括：
[0024]语音传感器，用于采集车内语音信号，输出接口与处理模块连接；
[0025]所述处理模块还包括：
[0026]语音识别子模块，用于对语音信息进行模数转换和关键字提取获得关键字识别特征，基于关键字识别特征与操控指令之间的映射关系获得语音操控指令。
[0027]通过采用上述技术方案，语音传感器用于采集车内的语音信号，驾驶员可以通过特定的语音指令来操控终端，通过语音传感器采集车内语音信号并通过语音识别子模块处理后获得语音操控指令；在驾驶员不方便操作终端的触控屏或按键时，可以通过上述多种方式实现与终端的信息交互，大大提高了驾驶员与终端的交互方式及灵活性，方便用户操作，提升体验感。
[0028]本申请在一较佳示例中可以进一步配置为：所述处理模块还包括：
[0029]触控识别子模块，用于对接收的触控信息进行模数转换，并对触控信息的位置进行识别获得位置识别特征，基于位置识别特征与操控指令之间的映射关系获得触控操控指令；
[0030]显示屏，基于所述手势操控指令、语音操控指令和/或触控操控指令分屏显示所述
多角度实景图像、拼接图像、车辆行驶虚拟景象和/或导航虚拟地图。
[0031]通过采用上述技术方案，用户触摸显示屏时，通过触摸识别子模块处理后获得触控操控指令；上述手势操控指令、语音操控指令、触控操控指令三种指令可以重复也可以不重复，可以是对显示屏的播放指令，也可以是显示切换指令，还可以是对原有未启动的功能进行启动等；对于同一功能可以通过选择上述任一形式进行操控，进一步提升终端的人机交互性能。
[0032]本专利技术在一较佳示例中可以进一步配置为：所述采集模块还包括：
[0033]车内摄像头，设置在车内用于采集驾驶员图像信息，输出接口与处理模块连接；
[0034]所述处理模块还包括：
[0035]驾驶异常子模块，对驾驶员图像信息中的特征部位进行提取，并通过图像处理算法进行识别，基于识别的结果输出状态异常信息；
[0036]所述多模态交互终端还包括扬声器，驾驶异常子模块与扬声器连接，并向扬声器和/或显示屏发送状态异常信息。
[0037]通过采用上述技术方案，通过采用上述技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实时流媒体的智能座舱系统，其特征在于，包括：采集模块，用于采集车内感应信号和车外实景图像及车辆行驶数据，并将车辆行驶数据传输至CAN服务器；多模态交互终端，包括数据库和处理模块，具有显示屏和CAN接口；CAN接口用于接收CAN服务器基于车辆行驶数据反馈的车辆行驶虚拟图像；数据库中预存有将识别特征与操控指令之间一一对应的映射关系表；处理模块用于对感应信号进行转换和识别，并获得识别特征，将识别特征与数据库中的映射关系表进行对照，并获得识别特征对应的操控指令；显示屏基于所述操控指令分屏显示所述车外实景图像、车辆行驶虚拟景象和/或导航虚拟地图。2.根据权利要求1所述的一种基于实时流媒体的智能座舱系统，其特征在于，所述采集模块包括：行驶传感器，安装在车身上，具有感应端和CAN接口，感应端用于采集车辆行驶数据，CAN接口通过CAN总线与CAN服务器连接；外部摄像头，设置在车身上，用于采集车外多角度实景图像，输出接口与处理模块连接；所述处理模块包括：拼接子模块，用于对多角度实景图像进行拼接获得拼接图像。3.根据权利要求2所述的一种基...

【专利技术属性】
技术研发人员：戴勇，李进，蒋卫刚，
申请(专利权)人：深圳普捷利科技有限公司，
类型：新型
国别省市：