一种多源融合视觉感知座舱系统技术方案

本发明专利技术公开了一种多源融合视觉感知座舱系统。其中，该系统包括：控制器，以及与所述控制器相连的RGB

【技术实现步骤摘要】
一种多源融合视觉感知座舱系统


[0001]本专利技术实施例涉及智能座舱
，尤其涉及一种多源融合视觉感知座舱系统。

技术介绍

[0002]近年来，自动驾驶技术得到广泛关注的同时也正在飞速发展，自动驾驶辅助功能也在各品牌车型中量产推向市场，使用者的接受度也是越来越高。其中智能座舱技术依据市场需求也成为自动驾驶技术的一个重要分支，基于深度学习的智能视觉的开发将会成为汽车智能化发展的一个重要突破点。
[0003]目前车端基于摄像头的智能视觉技术越来越多，常见的有360环视，ADAS等，新
有DMS、抽烟/打电话监测、情绪识别，人脸识别和手势识别等。人机交互技术也从以往的实体按键方式向基于手势识别技术的无接触方式过渡，尽可能方便地传达控制指令，避免注意力分散导致的交通安全隐患。
[0004]同时，技术发展也带来了一些问题，单个摄像头功能单一、复用性低，常常需要通过多个摄像头满足不同功能需求，每项功能对摄像头的具体参数和布置要求不同，而且摄像头等零部件的增加导致成本增加，对车内造型布置等都带来一定挑战。

技术实现思路

[0005]本专利技术提供一种多源融合视觉感知座舱系统，以实现全时段实现驾驶员状态监测、人脸识别、安全带未系提醒和手势控制车内影音娱乐系统等多种功能，显著提高了座舱系统的集成度，降低系统成本，方便布置安装。
[0006]本专利技术实施例提供了一种多源融合视觉感知座舱系统，包括：
[0007]控制器，以及与所述控制器相连的RGB
‑
IR摄像头；
[0008]所述RGB
‑
IR摄像头包括两种识别模式，用于分别获取驾驶员的彩色图像或红外图像；
[0009]所述控制器用于根据内置的算法对RGB
‑
IR摄像头工作在不同模式下获取的图像信息进行运算，并根据运算结果驱动对应的功能应用。
[0010]可选的，所述RGB
‑
IR摄像头布置在车辆的中控台区域。
[0011]可选的，当所述RGB
‑
IR摄像头工作在IR模式时，用于进行算法识别；
[0012]当所述RGB
‑
IR摄像头工作在RGB模式时，用于驱动车内拍照或视频通话功能。
[0013]可选的，当所述RGB
‑
IR摄像头工作在IR模式时，采取红外补光曝光模式。
[0014]可选的，该装置还包括：与控制相连的显示模块，所述显示模块用于显示RGB
‑
IR摄像头采集的图像相关信息以及视觉感知座舱系统的功能应用信息。
[0015]本专利技术的有益效果：
[0016]1.本专利技术旨在提出一种多源融合视觉感知座舱系统，主要包括控制器和RGB
‑
IR摄像头，全时段实现驾驶员状态监测、人脸识别、安全带未系提醒和手势控制车内影音娱乐系
统等多种功能，显著提高了座舱系统集成度，降低系统成本，方便布置安装。
[0017]2.本专利技术减小了摄像头安装视场角(angle of view，FOV)对造型设计的影响和限制，减少摄像头、控制器和线束等零部件数量，便于整车布置，关键硬件共用可大幅降低产品成本。
[0018]3.本专利技术将RGB
‑
IR摄像头曝光模式，应用在手势识别技术，显著提升算法识别准确度，稳定性。
[0019]4.本专利技术实现软硬件分离，图像数据在各类应用之间共享，实现功能可选择、可扩展；可作为模块化产品在不同车型、不同配置上进行灵活搭。
附图说明
[0020]图1是本专利技术实施例中的一种多源融合视觉感知座舱系统；
[0021]图2是本专利技术实施例中的RGB
‑
IR摄像头安装位置示意图；
[0022]图3是本专利技术实施例中的红外补光模式手势效果图。
具体实施方式
[0023]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0024]实施例
[0025]参见图1，本专利技术实施例提供了一种多源融合视觉感知座舱系统，包括：
[0026]控制器，以及与所述控制器相连的RGB
‑
IR摄像头；
[0027]所述RGB
‑
IR摄像头包括两种识别模式，用于分别获取驾驶员的彩色图像或红外图像；
[0028]所述控制器用于根据内置的算法对RGB
‑
IR摄像头工作在不同模式下获取的图像信息进行运算，并根据运算结果驱动对应的功能应用。
[0029]上述控制器还与整车相连，与摄像头相连的线束用于供电和传输LVDS视频信号，与整车相连的线束用于给控制器供电、传输视频信号及CAN网络通信。
[0030]本实施例中，当所述RGB
‑
IR摄像头工作在红外(IR)模式时，用于进行算法识别；
[0031]当所述RGB
‑
IR摄像头工作在RGB模式时，用于驱动车内拍照或视频通话功能。
[0032]具体的，当RGB
‑
IR摄像头工作在IR模式时，LED灯发射近红外光照射物体后返回镜头，感光芯片将光信号转变为电信号。电信号经ISP(Internet Service Provider，ISP)处理之后，传入串行器进行低压差分信号(Low Voltage Differential Signaling，LVDS)编码后传输至控制器，解串器对信号解码后得到红外图像，控制器根据算法对红外图像的识别结果驱动相应的功能应用。
[0033]RGB
‑
IR摄像头不受白天和黑夜时段的限制，仅通过单一的RGB
‑
IR摄像头采集到的图像信息，就可以全时段实现驾驶员状态监测、人脸识别、安全带未系提醒和手势控制车内影音娱乐系统等多种功能，显著提高集成度，降低系统成本，方便布置安装。
[0034]参见图2，本实施例中，摄像头视场角满足HFOV:120
°
/VFOV:100
°
，摄像头布局在中控台区域，基本覆盖驾驶员头部、手部、方向盘、安全带、以及其他乘客等区域，摄像头视场
角范围内尽量不要有遮挡、反光，最终安装位置以实际校核结果为准。
[0035]由于RGB摄像头工作在摄像头视场下时，冗余信息较多，手势识别算法鲁棒性较差，采取红外补光曝光模式，弱化除手部信息外的干扰信息，可以显著提升算法稳定性，红外补光模式手势效果图如图3所示。
[0036]接下来介绍一种多源融合视觉感知座舱系统应用案例如下：
[0037]1、RGB
‑
IR摄像头安装在中控台上，如图2所示。安装完毕后，上电启动。RGB
‑
IR摄像头可全时段对驾驶员状态(疲劳、抽烟/打电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源融合视觉感知座舱系统，其特征在于，包括：控制器，以及与所述控制器相连的RGB
‑
IR摄像头；所述RGB
‑
IR摄像头包括两种识别模式，用于分别获取驾驶员的彩色图像或红外图像；所述控制器用于根据内置的算法对RGB
‑
IR摄像头工作在不同模式下获取的图像信息进行运算，并根据运算结果驱动对应的功能应用。2.根据权利要求1所述的系统，其特征在于，所述RGB
‑
IR摄像头布置在车辆的中控台区域。3.根据权利要求1所述的系统，其特征在...

【专利技术属性】
技术研发人员：张殿坤，孙辉，曾小韬，
申请(专利权)人：清华大学，
类型：发明
国别省市：