车门控制方法及装置、系统、车、电子设备和存储介质制造方法及图纸

本公开涉及一种车门控制方法及装置、系统、车、电子设备和存储介质。所述方法包括：控制设置于车的图像采集模组采集视频流；基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息；若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息；若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。述车门打开。述车门打开。

【技术实现步骤摘要】
车门控制方法及装置、系统、车、电子设备和存储介质
[0001]本申请是在2019年10月22日提交中国专利局、申请号为201911006853.5、专利技术名称为“车门控制方法及装置、系统、车、电子设备和存储介质”的中国专利申请的分案申请。


[0002]本公开涉及计算机
，尤其涉及一种车门控制方法及装置、系统、车、电子设备和存储介质。

技术介绍

[0003]目前，用户需要通过车钥匙(例如机械钥匙或者遥控钥匙)进行车门控制。对于用户而言，特别是对于喜好运动的用户而言，携带车钥匙存在不便捷的问题。另外，车钥匙存在损坏、失效或丢失的风险。

技术实现思路

[0004]本公开提供了一种车门控制技术方案。
[0005]根据本公开的一方面，提供了一种车门控制方法，包括：
[0006]控制设置于车的图像采集模组采集视频流；
[0007]基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；
[0008]确定所述视频流中相邻帧的图像的交并比，并根据所述相邻帧的图像的交并比，确定开门意图信息；和/或，确定所述视频流中最新采集的多帧图像中人体区域的面积，并根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息；
[0009]基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息；
[0010]若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息；
[0011]若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。
[0012]根据本公开的一方面，提供了一种车门控制装置，包括：
[0013]第一控制模块，用于控制设置于车的图像采集模组采集视频流；
[0014]人脸识别模块，用于基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；
[0015]第二确定模块，用于确定所述视频流中相邻帧的图像的交并比，并根据所述相邻帧的图像的交并比，确定开门意图信息，和/或，确定所述视频流中最新采集的多帧图像中人体区域的面积，并根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息；
[0016]第一确定模块，用于基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息；
[0017]第一获取模块，用于若所述控制信息包括控制所述车的任一车门打开，则获取所
述车门的状态信息；
[0018]第二控制模块，用于若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。
[0019]根据本公开的一方面，提供了一种车门控制系统，包括：存储器、物体检测模组、人脸识别模组和图像采集模组；所述人脸识别模组分别与所述存储器、所述物体检测模组和所述图像采集模组连接，所述物体检测模组与所述图像采集模组连接；所述人脸识别模组还设置有用于与车门域控制器连接的通信接口，所述人脸识别模组通过所述通信接口向所述车门域控制器发送用于解锁和弹开车门的控制信息；
[0020]其中，所述图像采集模组用于采集视频流；
[0021]所述人脸识别模组用于：基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；确定所述视频流中相邻帧的图像的交并比，并根据所述相邻帧的图像的交并比，确定开门意图信息，和/或，确定所述视频流中最新采集的多帧图像中人体区域的面积，并根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息；基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息。
[0022]根据本公开的一方面，提供了一种车，所述车包括上述车门控制系统，所述车门控制系统与所述车的车门域控制器连接。
[0023]根据本公开的一方面，提供了一种电子设备，包括：
[0024]处理器；
[0025]用于存储处理器可执行指令的存储器；
[0026]其中，所述处理器被配置为：执行上述车门控制方法。
[0027]根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述车门控制方法。
[0028]在本公开实施例中，通过控制设置于车的图像采集模组采集视频流，基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果，基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息，若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息，若所述车门的状态信息为未解锁，则控制所述车门解锁并打开，和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开，由此能够基于人脸识别自动为用户开车门，而无需用户手动拉开车门，提高用车的便捷性。
[0029]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
[0030]根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
[0031]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0032]图1示出本公开实施例提供的车门控制方法的流程图。
[0033]图2示出车的B柱的示意图。
[0034]图3示出本公开实施例提供的车门控制方法中图像采集模组的安装高度与可识别
的身高范围的示意图。
[0035]图4a示出本公开实施例提供的车门控制方法中图像传感器和深度传感器的示意图。
[0036]图4b示出本公开实施例提供的车门控制方法中图像传感器和深度传感器的另一示意图。
[0037]图5示出本公开实施例提供的车门控制方法的一示意图。
[0038]图6示出本公开实施例提供的车门控制方法的另一示意图。
[0039]图7示出根据本公开实施例的活体检测方法的一个示例的示意图。
[0040]图8示出根据本公开实施例的活体检测方法中基于第一图像和第二深度图，确定第一图像中的人脸的活体检测结果的一个示例的示意图。
[0041]图9示出本公开实施例提供的车门控制方法中的深度预测神经网络的示意图。
[0042]图10示出本公开实施例提供的车门控制方法中的关联度检测神经网络的示意图。
[0043]图11示出本公开实施例提供的车门控制方法中深度图更新的一示例性的示意图。
[0044]图12示出本公开实施例提供的车门控制方法中周围像素的示意图。
[0045]图13示出本公开实施例提供的车门控制方法中周围像素的另一示意图。
[0046]图14示出根据本公开实施例的车门控制装置的框图。
[0047]图15示出本公开实施例提供的车门控制系统的框图。
[0048]图16示出根据本公开实施例的车门控制系统的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车门控制方法，其特征在于，包括：控制设置于车的图像采集模组采集视频流；基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；确定所述视频流中相邻帧的图像的交并比，并根据所述相邻帧的图像的交并比，确定开门意图信息；和/或，确定所述视频流中最新采集的多帧图像中人体区域的面积，并根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息；基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息；若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息；若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。2.根据权利要求1所述的方法，其特征在于，所述确定所述视频流中相邻帧的图像的交并比，包括：将所述视频流中相邻帧的图像中人体的边界框的交并比，确定为所述相邻帧的图像的交并比。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述相邻帧的图像的交并比，确定开门意图信息，包括：缓存最新采集的N组相邻帧的图像的交并比，其中，N为大于1的整数；确定缓存的交并比的平均值；若所述平均值大于第一预设值的持续时间达到第一预设时长，则确定所述开门意图信息为有意开门。4.根据权利要求1所述的方法，其特征在于，所述根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息，包括：若所述最新采集的多帧图像中人体区域的面积均大于第一预设面积，则确定所述开门意图信息为有意开门。5.根据权利要求1所述的方法，其特征在于，所述根据所述最新采集的多帧图像中人体区域的面积，确定开门意图信息，包括：若所述最新采集的多帧图像中人体区域的面积逐渐增大，则确定所述开门意图信息为有意开门。6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息，包括：若所述人脸识别结果为人脸识别成功，且所述开门意图信息为有意开门，则确定所述控制信息包括控制所述车的至少一车门打开。7.一种车门控制装置，其特征在于，包括：第一控制模块，用于控制设置于车的图像采集模组...

【专利技术属性】
技术研发人员：吴阳平，肖琴，娄松亚，李通，钱晨，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：