一种基于摄像机与激光雷达融合的门禁控制方法技术

本发明专利技术适用于安防领域，提供一种基于摄像机与激光雷达融合的门禁控制方法，所述方法包括：标定各摄像机的内外参数；标定摄像机与激光雷达之间外参数；将摄像机的图像数据与激光雷达的点云数据进行融合与标注；根据融合数据进行目标人员检测；对目标人员进行跟踪；对目标人员的位置、状态与轨迹进行分析，相应控制门禁系统的开关。本发明专利技术通过获得人员的身份信息，实现人员的身份验证，判断人员自身的进出权限，并通过该人员轨迹判断人员要进入的出入口，如果系统允许人员进入，则打开门锁或者自动门，如果不允许人员进入，则拒绝开锁；该控制方案实现了摄像机与三维激光雷达的融合，能够准确、高效且智能地完成门禁控制。高效且智能地完成门禁控制。高效且智能地完成门禁控制。

【技术实现步骤摘要】
一种基于摄像机与激光雷达融合的门禁控制方法


[0001]本专利技术属于安防
，尤其涉及一种基于摄像机与激光雷达融合的门禁控制方法。

技术介绍

[0002]目前，门禁系统朝着越来越智能化方向发展。通常的门禁系统，都是基于某个方式(刷卡、生物识别等)进行身份信息采集，然后对该身份的人员进行核实和权限控制。只要身份合法，系统自动打开门锁。这种门锁控制方法的确解决了不少问题，方便了很多小区、办公楼的管理。
[0003]随着技术的发展，新技术在门禁系统的应用越来越多。尤其是人工智能AI技术的发展，包括目标检测、目标识别、目标跟踪、轨迹计算、行为理解等，其中目标检测和识别是进行后续跟踪、轨迹计算和行为理解的基础。
[0004]三维激光雷达是以发射激光束探测目标的空间三维球坐标的雷达系统。采用相干测角、调频测距原理，向目标发射探测信号，然后将接收到的从目标反射回来的回波信号与发射信号进行比较吗，作出适当处理后可获得目标的球坐标。随着三维成像技术的飞速发展，激光雷达也被应用在各种领域。实际环境下出入口和人的行为具有一定的运动轨迹和空间信息，因此，引入激光传感器获取目标在场景中的三维信息，以进行更加准确的跟踪、轨迹计算和行为理解。
[0005]目前将三维激光雷达应用在门禁系统中较为少见，申请号201810259923.7公开了一种基于激光雷达3D成像的门禁系统，但是此专利采用的是低成本激光雷达，通过人体信息采集模块采集对象的三维信息，三维信息经过后台判断是否为合法用户，因此专利中的激光雷达仅用于采集人体的三维信息，并未作为人体的位置跟踪和轨迹计算。
[0006]目前的门禁控制不够智能，只能单纯的刷卡、生物识别等方式进行身份识别，特别是针对多门联动门禁，需要在每个门设置类似于读卡器、指纹识别等专用识别装置。目前的门禁系统无法进行有效和智能化控制。

技术实现思路

[0007]鉴于上述问题，本专利技术的目的在于提供一种基于摄像机与激光雷达融合的门禁控制方法，旨在解决现有门禁系统控制方式较为单一的技术问题。
[0008]本专利技术采用如下技术方案：
[0009]所述于摄像机与激光雷达融合的门禁控制方法，包括下述步骤：
[0010]步骤S1、标定各摄像机的内外参数。
[0011]步骤S2、标定摄像机与激光雷达之间外参数。
[0012]步骤S3、将摄像机的图像数据与激光雷达的点云数据进行融合与标注，得到激光雷达的坐标系与摄像机二维平面坐标系之间点的转换关系，并利用标注工具进行数据标注；
[0013]步骤S4、根据融合数据进行目标人员检测；
[0014]步骤S5、对目标人员进行跟踪；
[0015]步骤S6、对目标人员的位置、状态与轨迹进行分析，相应控制门禁系统的开关。
[0016]本专利技术的有益效果是：本专利技术采用摄像机与三维激光雷达相结合，与普通门禁不同，基于人脸识别对人员进行有效控制，基于三维激光雷达实现对人的行为进行跟踪，最终基于人员进出权限进行控制，具体的，通过获得人员的身份信息，实现人员的身份验证，判断人员自身的进出权限，并通过该人员轨迹判断人员要进入的出入口，如果系统允许人员进入，则打开门锁或者自动门，如果不允许人员进入，则拒绝开锁；该控制方案实现了摄像机与三维激光雷达的融合，能够准确、高效且智能地完成门禁控制。
附图说明
[0017]图1是本专利技术第一实施例提供的基于摄像机与激光雷达融合的门禁控制方法的流程图；
[0018]图2是本专利技术第二实施例提供的基于摄像机与激光雷达融合的门禁控制系统的结构图。
具体实施方式
[0019]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0020]为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。
[0021]实施例一：
[0022]图1示出了本专利技术实施例提供的基于摄像机与激光雷达融合的门禁控制方法的流程，为了便于说明仅示出了与本专利技术实施例相关的部分。
[0023]如图1所示，本实施例提供的基于摄像机与激光雷达融合的门禁控制方法包括下述步骤：
[0024]步骤S1、标定各摄像机的内外参数。
[0025]本实施例中摄像机采用广角摄像机。普通相机的视场限制在约60度内，使得相机的应用在智能监控场景中受到制约，存在大范围的视野盲区。为解决相机视场角的影响，本专利技术实施例使用鱼眼广角摄像机代替普通的针孔相机。
[0026]首先确定摄像机焦距、主点以及非线性畸变系数等参数。利用标定好的非线性畸变系数进行图像校正，生成正常视角的图像数据。具体通过棋盘格作为标定板标定摄像机内参矩阵与畸变系数，并计算相邻摄像机的外参矩阵。本实施例用棋盘格建立参考坐标系，通过校正好的图像数据，计算摄像机相对于棋盘格的位置关系，从而确定摄像机的相对位置关系。
[0027]步骤S2、标定摄像机与激光雷达之间外参数。
[0028]摄像机与激光雷达之间同样采用棋盘格作为标定板，分别计算棋盘格在摄像机视觉成像中的相对位置关系，确定棋盘格所在的平面在摄像机坐标系中的坐标，该坐标可用平面单位法向量与距离来表示。在激光雷达坐标系中，通过平面上的雷达三维坐标点的坐
标，拟合出该平面在雷达坐标系中的坐标，同样以平面单位法向量与距离来表征。
[0029]为了提取出棋盘格点云的精确角点坐标，进而获取更精确的联合标定精度，本步骤提供了一种基于标定板边缘细化的角点提取方法，具体过程如下：
[0030]S21、利用点云的条件滤波算法完成标定板点云的粗提取：激光点云中坐标为(xi,yi,zi)的点pi，若该点坐标满足：x
i
∈(X1,X2)∩y
i
∈(Y1,Y2)∩z
i
∈(Z1,Z2)，则该保留该点，否则剔除该点，其中，X1、X2为沿激光坐标系X轴设定的阈值；Y1、Y2为沿激光坐标系Y轴设定的阈值；Z1、Z2为沿激光坐标系Z轴设定的阈值。
[0031]从整个原始点云中提取出热敏标定板的点云，此时的点云主要由标定板和持标定板的人组成。设激光点云中某点pi坐标为(xi,yi,zi)，若该点坐标满足：x
i
∈(X1,X2)∩y
i
∈(Y1,Y2)∩z
i
∈(Z1,Z2)，则该保留该点，否则剔除该点，通过本步骤可以获得标定板附近的点云。
[0032]S22、拟合出标定板平面并获得标定板点云，滤除步骤S21中得到的点云中的非标定板点云：反复从标定板点数据集合中建立参数化模型，对于每次建立模型后计算点云与建立的模型之间的偏离程度，将偏离程度小于设定阈值的点称为内点，记录每次拟合模型得到的内点个数，取内点数最多时得到的参数化模型为最优模型。
[0033]在本专利技术步骤中，通过每次随机选择3个不共线的点构造三维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于摄像机与激光雷达融合的门禁控制方法，其特征在于，所述方法包括下述步骤：步骤S1、标定各摄像机的内外参数；步骤S2、标定摄像机与激光雷达之间外参数；步骤S3、将摄像机的图像数据与激光雷达的点云数据进行融合与标注，得到激光雷达的坐标系与摄像机二维平面坐标系之间点的转换关系，并利用标注工具进行数据标注；步骤S4、根据融合数据进行目标人员检测；步骤S5、对目标人员进行跟踪；步骤S6、对目标人员的位置、状态与轨迹进行分析，相应控制门禁系统的开关。2.如权利要求1所述基于摄像机与激光雷达融合的门禁控制方法，其特征在于，步骤S1中，摄像机采用广角摄像机，通过棋盘格作为标定板标定摄像机内参矩阵与畸变系数，并计算相邻摄像机的外参矩阵，以确定摄像机的相对位置关系。3.如权利要求2所述基于摄像机与激光雷达融合的门禁控制方法，其特征在于，所述步骤S2具体过程如下：S21、利用点云的条件滤波算法完成标定板点云的粗提取：激光点云中坐标为(xi,yi,zi)的点pi，若该点坐标满足：x
i
∈(X1,X2)∩y
i
∈(Y1,Y2)∩z
i
∈(Z1,Z2)，则该保留该点，否则剔除该点，其中，X1、X2为沿激光坐标系X轴设定的阈值；Y1、Y2为沿激光坐标系Y轴设定的阈值；Z1、Z2为沿激光坐标系Z轴设定的阈值；S22、拟合出标定板平面并获得标定板点云，滤除步骤S21中得到的点云中的非标定板点云：反复从标定板点数据集合中建立参数化模型，对于每次建立模型后计算点云与建立的模型之间的偏离程度，将偏离程度小于设定阈值的点称为内点，记录每次拟合模型得到的内点个数，取内点数最多时得到的参数化模型为最优模型；S23、点云与边缘拟合：根据点云的分布特点计算得到标定板点云的边缘点，通过边缘点拟合得到标定板的四个边，分别处理标定板的四条边，求取相邻两条直线在三维空间的交点，得到标定板的四个顶点。4.如权利要求3所述基于摄像机与激光雷达融合的门禁控制方法，其特征在于，所述步骤S3具体过程如下：S31、在不同姿态下放置的标定板，得到标定板的特征点在激光点云中的3D坐标，通过将3D坐标投影在图像上的2D坐标，获得激光雷达坐标系与摄像机坐标系的位姿转换关系，实现激光点云数据与图像数据的融合；S32、对图像数据和激光点云数据进行标注。5.如权利要求4所述基于摄像机与激光雷达融合的门禁控制方法，其特征在于，所述步骤S4具体过程如下：将三维的激光点云数据转换为鸟瞰图形式，与图像数据作为输入，基于YOLO
‑
v5的检测网络进行目标检测，得到图像框、激光框以及输出目标人...

【专利技术属性】
技术研发人员：袁行船，肖汉彪，汪玄，李娜，陆德波，周冬桥，余敏，焦红爱，张忠兵，詹文斌，
申请(专利权)人：中船重工武汉凌久高科有限公司，
类型：发明
国别省市：