一种人眼眼睑曲线的构建方法及装置制造方法及图纸

本发明专利技术实施例公开一种人眼眼睑曲线的构建方法及装置，该方法包括：从每一图像采集设备在同一时刻采集的人眼图像中，识别人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息；基于每一图像采集设备的位姿信息和内参信息、第一位置信息以及第二位置信息，确定出第一眼角点和第二眼角点对应的三维位置信息；基于上述三维位置信息、预设的曲线方程、第一数值以及第二数值，构建第一眼角约束和第二眼角约束；再结合每一眼睑点的第三位置信息，构建眼睑点对应的重投影误差约束；基于上述三个约束，构建用于表征人眼的上眼睑和\或下眼睑的眼睑空间曲线方程，以实现对人眼眼睑曲线的构建，得到人眼眼睑的空间信息。

A construction method and device of eyelid curve

【技术实现步骤摘要】
一种人眼眼睑曲线的构建方法及装置
本专利技术涉及智能交通
，具体而言，涉及一种人眼眼睑曲线的构建方法及装置。
技术介绍
疲劳驾驶是导致车祸的原因之一，为了在一定程度上避免疲劳驾驶所导致的车祸的发生，相关的疲劳驾驶检测技术应运而生。利用相关的疲劳驾驶检测技术进行疲劳驾驶检测的过程，一般为：监控驾驶员的眼睛的开闭状态，进而根据驾驶员的眼睛的开闭状态，确定驾驶员是否出现疲劳驾驶，在确定出驾驶员出现疲劳驾驶的情况下，进行告警。可见，上述疲劳驾驶检测的过程中，对驾驶员的眼睛的开闭状态的检测至关重要，而对驾驶员的眼睛的开闭状态的检测，大多依赖于对驾驶员的眼睛的上下眼睑之间的距离的计算，而实现对驾驶员的眼睛的上下眼睑之间的距离的计算，对驾驶员的眼睛的上下眼睑曲线的重建至关重要，那么如何重建出驾驶员的上下眼睑曲线成为亟待解决的问题。
技术实现思路
本专利技术提供了一种人眼眼睑曲线的构建方法及装置，以实现对人眼眼睑曲线的构建，得到人眼眼睑的空间信息。具体的技术方案如下：第一方面，本专利技术实施例提供了一种人眼眼睑曲线的构建方法，包括：从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，所述眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；基于每一图像采集设备的位姿信息和内参信息、所述第一位置信息以及所述第二位置信息，确定出所述第一眼角点对应的第一三维位置信息和所述第二眼角点对应的第二三维位置信息；基于所述第一三维位置信息、所述第二三维位置信息以及预设的曲线方程，构建第一眼角约束；基于第一数值、第二数值以及所述第一眼角约束，构建第二眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。可选的，在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤之前，所述方法还包括：基于每一人眼图像中眼睑点的有序性，针对每一人眼图像中眼睑点，构建有序性约束；所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤，包括：基于所述第一眼角约束、所述第二眼角约束、所述重投影误差约束以及所述有序性约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。可选的，所述基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束的步骤，包括：利用所述曲线方程，构建每一眼睑点对应的第三三维位置信息；基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。可选的，所述基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束的步骤，包括：基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；针对每一人眼图像，基于该人眼图像中的每一眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出该人眼图像中每一眼睑点对应的空间点在该人眼图像中的投影点的第四位置信息；基于每一人眼图像中每一眼睑点的第三位置信息，和该眼睑点对应的空间点在该眼睑点所在人眼图像中的投影点的第四位置信息，确定出眼睑点对应的重投影误差约束。可选的，在所述从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息的步骤之前，所述方法还包括：获得多个图像采集设备在同一时刻采集的人脸图像；基于预先建立的人脸特征点检测模型，从每一图像采集设备采集的每一人脸图像中，检测出每一人脸图像中人眼所在区域，得到人眼图像，其中，所述预先建立的人脸特征点检测模型为：基于标定有人脸特征点的样本图像训练所得的模型。可选的，在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤之后，所述方法还包括：基于用于表征所述上眼睑的眼睑空间曲线方程和用于表征所述下眼睑的眼睑空间曲线方程，确定出所述人眼的当前开闭长度；获得在预设时长内所确定出的所述人眼的历史开闭长度；基于所述当前开闭长度以及所述历史开闭长度，确定得到所述人眼对应的人员的疲劳程度。可选的，所述基于用于表征所述上眼睑的空间眼睑曲线方程和用于表征所述下眼睑的空间眼睑曲线方程，确定出所述人眼的当前开闭长度的步骤，包括：计算得到用于表征所述上眼睑的空间眼睑曲线方程和用于表征所述下眼睑的空间眼睑曲线方程之间的最大距离；将所述最大距离，作为所述人眼的当前开闭长度。可选的，所述基于所述当前开闭长度以及所述历史开闭长度，确定得到所述人眼对应的人员的疲劳程度的步骤，包括：将每一开闭长度与预设长度阈值进行比较，获得比较结果，其中，所述开闭长度包括所述当前开闭长度以及所述历史开闭长度；统计得到表征开闭长度小于所述预设长度阈值的比较结果的第一结果数量；基于所述当前开闭长度以及所述历史开闭长度的总数量和所述第一结果数量，确定得到所述人眼对应的人员的疲劳程度。第二方面，本专利技术实施例提供了一种人眼眼睑曲线的构建装置，包括：识别模块，被配置为从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，所述眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；第一确定模块，被配置为基于每一图像采集设备的位姿信息和内参信息、所述第一位置信息以及所述第二位置信息，确定出所述第一眼角点对应的第一三维位置信息和所述第二眼角点对应的第二三维位置信息；第一构建模块，被配置为基于所述第一三维位置信息、所述第二三维位置信息以及预设的曲线方程，构建第一眼角约束；第二构建模块，被配置为基于第一数值、第二数值以及所述第一眼角约束，构建第二眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；第三构建模块，被配置为基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；第四构建模块，被配置本文档来自技高网...

【技术保护点】
1.一种人眼眼睑曲线的构建方法，其特征在于，包括：/n从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，所述眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；/n基于每一图像采集设备的位姿信息和内参信息、所述第一位置信息以及所述第二位置信息，确定出所述第一眼角点对应的第一三维位置信息和所述第二眼角点对应的第二三维位置信息；/n基于所述第一三维位置信息、所述第二三维位置信息以及预设的曲线方程，构建第一眼角约束；/n基于第一数值、第二数值以及所述第一眼角约束，构建第二眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；/n基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；/n基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。/n

【技术特征摘要】
1.一种人眼眼睑曲线的构建方法，其特征在于，包括：
从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息，其中，所述眼睑点包括：第一数量个上眼睑点和\或第二数量个下眼睑点；
基于每一图像采集设备的位姿信息和内参信息、所述第一位置信息以及所述第二位置信息，确定出所述第一眼角点对应的第一三维位置信息和所述第二眼角点对应的第二三维位置信息；
基于所述第一三维位置信息、所述第二三维位置信息以及预设的曲线方程，构建第一眼角约束；
基于第一数值、第二数值以及所述第一眼角约束，构建第二眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束；
基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。


2.如权利要求1所述的方法，其特征在于，在所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤之前，所述方法还包括：
基于每一人眼图像中眼睑点的有序性，针对每一人眼图像中眼睑点，构建有序性约束；
所述基于所述第一眼角约束、所述第二眼角约束以及所述重投影误差约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程的步骤，包括：
基于所述第一眼角约束、所述第二眼角约束、所述重投影误差约束以及所述有序性约束，构建用于表征所述人眼的上眼睑和\或下眼睑的眼睑空间曲线方程。


3.如权利要求1-2任一项所述的方法，其特征在于，所述基于所述曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束的步骤，包括：
利用所述曲线方程，构建每一眼睑点对应的第三三维位置信息；
基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束。


4.如权利要求3所述的方法，其特征在于，所述基于每一眼睑点对应的第三三维位置信息、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建眼睑点对应的重投影误差约束的步骤，包括：
基于每一图像采集设备的位姿信息和内参信息，确定每两个图像采集设备的设备坐标系之间的转换关系；
针对每一人眼图像，基于该人眼图像中的每一眼睑点对应的第三三维位置信息以及每两个图像采集设备的设备坐标系之间的转换关系，确定出该人眼图像中每一眼睑点对应的空间点在该人眼图像中的投影点的第四位置信息；
基于每一人眼图像中每一眼睑点的第三位置信息，和该眼睑点对应的空间点在该眼睑点所在人眼图像中的投影点的第四位置信息，确定出眼睑点对应的重投影误差约束。


5.如权利要求1所述的方法，其特征在于，在所述从每一图像采集设备在同一时刻采集的每一人眼图像中，识别出该人眼图像中人眼的第一眼角点的第一位置信息、第二眼角点的第二位置信息以及眼睑点的第三位置信息的步骤之前，所述方法还包括：
获得多个图像采集设备在同一时刻采集的人脸图像；
基于预先建立的人脸特征点检测模型，从每一图像采集设备采集的每一人脸图像中，检测出每一人脸图...

【专利技术属性】
技术研发人员：李源，王晋玮，
申请(专利权)人：初速度苏州科技有限公司，
类型：发明
国别省市：江苏;32