一种船舶驾驶异常行为检测方法技术

本发明专利技术公开了一种船舶驾驶异常行为检测方法。为了克服目前缺少针对船舶驾驶异常行为检测的问题；包括以下步骤：S1船舱内人脸检测；S2船舱内人脸朝向预测；S3：船舱内人体检测；S4：船舱内人体追踪；S5船舱内人体骨架预测；S6时序逻辑行为判断。通过对船舶驾驶场景下的视频分析，捕捉多人的人脸、人体位置，估计人脸朝向，追踪人体运动轨迹，检测基本动作，实现了从视频角度出发的一种船舶驾驶异常行为的检测方法，能够在船舶驾驶人员进行异常行为时有效预警和上报，确保船舶驾驶安全。确保船舶驾驶安全。确保船舶驾驶安全。

【技术实现步骤摘要】
一种船舶驾驶异常行为检测方法


[0001]本专利技术涉及一种行为检测领域，尤其涉及一种船舶驾驶异常行为检测方法。

技术介绍

[0002]随着计算机视觉领域的发展，自动监控中的异常行为检测受到了极大的关注。异常行为指某个场景下发生概率较低但值得关注的事件，包含室外和室内两类场景。室外场景下的异常行为主要针对行人，通过监控的自动化分析来检测可能危害公共安全的行为与动作；室内场景下的异常行为包括针对办公室、室内场馆、车辆驾驶员的行为分析，以对关注的特定行为进行检测和告警。目前的主流研究以室外场景的人群异常行为检测为主，主要方法包括行为关系分析法、运动轨迹分析法、底层特征分析法等，随着卷积神经网络在异常行为检测领域中的深入，基于深度学习的算法也在室外场景下的异常行为检测中得到广泛研究和应用。
[0003]针对船舶驾驶场景下的异常行为检测，目前的相关研究较少。与之相似的任务主要在车辆驾驶员的异常行为检测，包括抽烟、打哈欠、疲劳检测等。但在船舶驾驶中，一方面，船舶驾驶的区域往往涉及多人共同操作，另一方面，船舶驾驶中存在特定的驾驶规范，存在一些需要通过时序信息来判断的异常行为需求。因此，当前对于车辆驾驶员的异常行为检测方法无法直接应用于船舶驾驶，船舶驾驶异常行为检测的方法还有待研究。
[0004]例如，一种在中国专利文献上公开的“一种异常驾驶行为检测方法、装置及电子设备”，其公告号CN109508576B，方法包括：获取第一视频帧，并检测所述第一视频帧中驾驶员脸部区域对应的第一位置信息；获取第一视频帧之后与第一视频帧相邻的第二视频帧，并检测第二视频帧中所述驾驶员脸部区域对应的第二位置信息；判断是否满足所述第一视频帧中驾驶员脸部区域位于所述预设区域内，且所述第二视频帧中所述驾驶员脸部区域位于所述预设区域外；如果是，依次获取所述第二视频帧之后的第三视频帧，并检测各所述第三视频帧中所述驾驶员脸部区域对应的第三位置信息；确定所述驾驶员的头部移动轨迹；根据所述头部移动轨迹，确定所述驾驶员存在异常驾驶行为。
[0005]该方案中的技术适用于汽车驾驶过程中的疲劳检测，不适用于船舶驾驶，无法适直接移用。

技术实现思路

[0006]本专利技术主要解决目前缺少针对船舶驾驶异常行为检测的问题；提供一种船舶驾驶异常行为检测方法。
[0007]本专利技术的上述技术问题主要是通过下述技术方案得以解决的：一种船舶驾驶异常行为检测方法，包括以下步骤：S1：使用船舱内人脸检测网络，从输入视频的每一帧中检测获取存在的人脸区域；S2：根据人脸区域，使用船舱内人脸朝向预测网络估计人脸朝向坐标，预测人脸朝向；
S3：使用船舱内人体检测网络，从输入视频的每一帧中检测获取存在的所有人体区域；S4：根据检测到的每个人体区域，使用船舱内人体追踪算法确定时序上人体区域间的对应关系，得到人体的运动轨迹；S5：针对所述人体区域，使用船舱内人体骨架预测网络估计视频中每一帧图像中的骨架信息；S6：根据视频中每一帧图像中的骨架信息，结合人脸朝向和人体的运动轨迹，使用时序逻辑检测基本动作，根据检测到的基本动作进一步通过驾驶异常行为触发逻辑检测船舶驾驶异常行为，驾驶异常行为触发逻辑根据船舶驾驶的驾驶规范设置。
[0008]本方案通过对船舶驾驶场景下的视频分析，捕捉多人的人脸、人体位置，估计人脸朝向，追踪人体运动轨迹，检测基本动作，实现了从视频角度出发的一种船舶驾驶异常行为的检测方法，能够在船舶驾驶人员进行异常行为时有效预警和上报，确保船舶驾驶安全。
[0009]作为优选，所述的步骤S2具体包括以下步骤：S201：从视频中每一帧图像中裁剪出所述人脸区域；S202：将裁剪后的人脸区域进行尺寸归一化，输入到船舱内人脸朝向预测网络中，得到估计的人脸朝向坐标；人脸朝向坐标为欧拉角表示，具体包括：滚动角坐标，俯仰角坐标以及偏航角坐标；S203：根据估计的人脸朝向坐标，与预设的人脸朝向阈值比较，判断人脸朝向；人脸朝向阈值具体包括：滚动角坐标阈值，俯仰角坐标阈值以及偏航角坐标阈值。
[0010]计算人脸朝向，与之后其运动轨迹、基本动作结合，综合判断船舶驾驶时的异常行为。
[0011]作为优选，所述的人脸朝向具体包括人脸朝左、人脸朝右、人脸向前、人脸向上以及人脸向下。
[0012]作为优选，所述步骤S4具体包括以下步骤：S401：针对视频中每一帧图像得到的人体区域，记录所述人体区域的位置；S402：使用特征描述符，计算所述人体区域的特征向量；S403：按照时序依次比较视频中每一帧图像的人体区域，通过当前人体区域的位置和特征向量与预设的位置阈值和特征向量阈值比较，判断视频中时序关系上每一帧图像中人体区域间的对应关系，得到人体的运动轨迹。
[0013]计算人体运动轨迹，与人脸朝向、基本动作结合，综合判断船舶驾驶时的异常行为。
[0014]作为优选，所述的骨架信息包括骨架连接点坐标、骨架旋转角度以及骨架长度；所述骨架连接点坐标具体包括：骨架连接点横坐标以及骨架连接点纵坐标；所述骨架旋转角度具体包括：骨架旋转滚动角坐标、骨架旋转俯仰角坐标以及骨架旋转偏航角坐标。
[0015]作为优选，所述的步骤S6具体包括以下步骤：S601：构建基本动作队列，存储时序上过去出现过的基本动作；S602：根据每一帧图像中的骨架信息，设置基本动作触发逻辑，若满足基本动作触
发逻辑则在基本动作队列中记录；S603：在基本动作队列上设置基本动作计数器，记录对应基本动作的触发维持时长，若基本动作的触发维持时长超过该基本动作的触发维持时长阈值，则报告基本动作的产生；S604：根据基本动作的产生，设置驾驶异常行为触发逻辑，若满足驾驶异常行为触发逻辑则报告驾驶异常行为的产生。
[0016]计算基本动作，与人脸朝向、运动轨迹结合，综合判断船舶驾驶时的异常行为。
[0017]作为优选，所述的基本动作具体包括：人脸朝向、踱步、趴伏、倚靠、保持不动以及站立不动；所述驾驶异常行为具体包括：开小差、目视设备后左顾右盼，踱步时左顾右盼、趴伏桌台以及倚靠桌台。
[0018]基本动作与驾驶异常行为为船舶驾驶特定的动作与行为，根据船舶驾驶中存在特定的驾驶规范设计，更加具有针对性。
[0019]作为优选，所述的基本动作队列具体包括：目视设备队列、目视左方队列、目视右方队列、目视前方队列、趴伏队列、倚靠队列以及踱步队列；所述的基本动作计数器具体包括：目视设备计数器、目视左方计数器、目视右方计数器、目视前方计数器、趴伏计数器、倚靠计数器以及保持不动计数器。用于触发逻辑的判断。
[0020]作为优选，所述的驾驶异常行为触发逻辑具体包括：若保持不动计数器中的触发维持时长超过保持不动的触发维持时长阈值，报告开小差的驾驶异常动作；若目视设备的下一时刻紧接目视左方或目视右方的产生，报告目视设备后左顾右盼的驾驶异常动作；若踱步和目视左方或目视右方同时产生，报告踱步时左顾右盼的驾驶异常动作；若趴伏计数器中的触发维持时长超过趴伏的触发维持时长阈值，报告趴伏桌台的驾驶异常动作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种船舶驾驶异常行为检测方法，其特征在于，包括以下步骤：S1：使用船舱内人脸检测网络，从输入视频的每一帧中检测获取存在的人脸区域；S2：根据人脸区域，使用船舱内人脸朝向预测网络估计人脸朝向坐标，预测人脸朝向；S3：使用船舱内人体检测网络，从输入视频的每一帧中检测获取存在的所有人体区域；S4：根据检测到的每个人体区域，使用船舱内人体追踪算法确定时序上人体区域间的对应关系，得到人体的运动轨迹；S5：针对所述人体区域，使用船舱内人体骨架预测网络估计视频中每一帧图像中的骨架信息；S6：根据视频中每一帧图像中的骨架信息，结合人脸朝向和人体的运动轨迹，使用时序逻辑检测基本动作，根据检测到的基本动作进一步通过驾驶异常行为触发逻辑检测船舶驾驶异常行为；驾驶异常行为触发逻辑根据船舶驾驶的驾驶规范设置。2.根据权利要求1所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的步骤S2具体包括以下步骤：S201：从视频中每一帧图像中裁剪出所述人脸区域；S202：将裁剪后的人脸区域进行尺寸归一化，输入到船舱内人脸朝向预测网络中，得到估计的人脸朝向坐标；人脸朝向坐标为欧拉角表示，具体包括：滚动角坐标，俯仰角坐标以及偏航角坐标；S203：根据估计的人脸朝向坐标，与预设的人脸朝向阈值比较，判断人脸朝向；人脸朝向阈值具体包括：滚动角坐标阈值，俯仰角坐标阈值以及偏航角坐标阈值。3.根据权利要求1或2所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的人脸朝向具体包括人脸朝左、人脸朝右、人脸向前、人脸向上以及人脸向下。4.根据权利要求1所述的一种船舶驾驶异常行为检测方法，其特征在于，所述步骤S4具体包括以下步骤：S401：针对视频中每一帧图像得到的人体区域，记录所述人体区域的位置；S402：计算所述人体区域的特征向量；S403：按照时序依次比较视频中每一帧图像的人体区域，通过当前人体区域的位置和特征向量与预设的位置阈值和特征向量阈值比较，判断视频中时序关系上每一帧图像中人体区域间的对应关系，得到人体的运动轨迹。5.根据权利要求1所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的骨架信息包括骨架连接点坐标、骨...

【专利技术属性】
技术研发人员：雷富强，王文亮，张一帆，刘识灏，牛亦龙，马吉顺，曾鹏，
申请(专利权)人：中船浙江海洋科技有限公司，
类型：发明
国别省市：