【技术实现步骤摘要】
本公开涉及图像处理，尤其涉及一种目标行为的处理方法及装置、运载工具和存储介质。
技术介绍
1、在驾驶员行为检测的场景中，目前常用的方法是通过目标检测的方法来提取图像中的比如香烟信息，进而判断是否存在吸烟的行为。
2、然而，由于目标检测的方法所获得的香烟的特征较少并且香烟的体积较小，因此对于吸烟等行为的检测准确性较差，更甚者，在诸如具有复杂驾驶舱背景的工业车辆等驾驶场景下，目标检测比较容易发生误检测的情况。
技术实现思路
1、有鉴于此，本公开提出了一种目标行为的处理方法及装置、运载工具和存储介质，从而可以提高目标行为检测的准确性，并且可以降低目标行为的误检率。
2、根据本公开的第一方面，提供了一种目标行为处理方法，包括：提取步骤，从待测图像或待测视频帧提取用于检测所述目标行为的目标图像；获取步骤，对所述目标图像进行实例分割，以获取所述目标图像中的目标人体的第一分割结果和目标物体的第二分割结果，其中，所述第一分割结果包括所述目标人体的形状信息，所述第二分割结果包括所述目标物体的形状信息；检测步骤，基于融合了实例分割过程产生的特征信息，进行人物交互hoi检测以确定所述目标人体和所述目标物体的交互信息；确定步骤，基于所述交互信息，确定所述目标人体是否进行了所述目标行为。
3、根据本公开的第二方面，提供了一种目标行为的处理装置，包括：提取模块，用于从待测图像或待测视频帧提取用于检测所述目标行为的目标图像；获取模块，用于对所述目标图像进行实例分割，以获取所述
4、根据本公开的第三方面，提供了一种目标行为的处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述处理方法。
5、根据本公开的第四方面，提供了一种运载工具，其配置有驾驶员监控系统dms，所述dms搭载有根据第二方面或第三方面所述的处理装置。
6、根据本公开的第五方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述处理方法。
7、根据本公开的第六方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述处理方法。
8、通过上述目标行为的处理方法及装置、运载工具和存储介质，对目标图像进行实例分割以获取目标图像中的目标人体和目标物体各自的实例分割结果，基于融合了实例分割过程产生的特征信息进行人物交互hoi检测以确定这些实例分割结果所包括的形状信息各自所对应的目标人体和目标物体的交互信息，并基于交互信息确定目标人体是否进行了目标行为。因此，可以提高目标行为检测的准确性，并且可以降低目标行为的误检率。
9、其中，提取目标人体和目标物体实例分割像素级的特征，同时对目标人体和目标物体对进行交互关系预测，实例分割任务和交互关系预测任务共享部分cnn模型提取的特征，具有如下优点：轻量级的骨干网络设计，计算量小，耗时短，十分适合于车载设备等计算能力受限的应用场景；不同于现有许多基于目标检测技术的方法，本公开提取像素级的语义信息以及更深层次的人物交互语义信息，更加鲁棒；且易于扩展到其他异常驾驶行为检测如吃东西，喝水等行为的检测上；在保持一定的tpr召回率(召回/真阳性率)情况下误检率低，辅以过滤模块，进一步减小误检的发生，特别是在具有复杂驾驶舱背景的工业车辆驾驶中具有优势。
10、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
本文档来自技高网...【技术保护点】
1.一种目标行为的处理方法，其特征在于，包括：
2.根据权利要求1所述的处理方法，其特征在于，所述提取步骤包括：
3.根据权利要求2所述的处理方法，其特征在于，在获取所述第一目标框之后，所述提取步骤还包括：
4.根据权利要求2所述的处理方法，其特征在于，根据所述第一目标框的位置信息，从所述待测图像或待测视频帧中提取所述目标图像包括：
5.根据权利要求4所述的处理方法，其特征在于，所述预定比例是能够根据执行所述处理方法的设备的算力而动态调整的。
6.根据权利要求4所述的处理方法，其特征在于，将所述第一目标框向外扩展预定比例而得到第二目标框包括：
7.根据权利要求6所述的处理方法，其特征在于，所述第一数值和所述第二数值均为0.1。
8.根据权利要求1所述的处理方法，其特征在于，所述获取步骤包括：
9.根据权利要求8所述的处理方法，其特征在于，
10.根据权利要求8所述的处理方法，其特征在于，
11.根据权利要求10所述的处理方法，其特征在于，经由所述目标模型的预测分
12.根据权利要求10所述的处理方法，其特征在于，所述交互点的位置信息是每个人物对中目标人体的中心点和目标物体的中心点的连线的中心位置的坐标。
13.根据权利要求1所述的处理方法，其特征在于，
14.根据权利要求13所述的处理方法，其特征在于，在所述确定步骤之后，所述处理方法还包括：
15.根据权利要求14所述的处理方法，其特征在于，N是根据执行所述处理方法的设备的每秒传输帧数而确定的。
16.根据权利要求1所述的处理方法，其特征在于，在所述确定步骤之后，所述处理方法还包括：
17.根据权利要求14-16中任一项所述的处理方法，其特征在于，所述告警处理包括弹窗告警、音频告警、视频告警、短信告警、微信告警、邮件告警至少之一。
18.一种目标行为的处理装置，其特征在于，包括：
19.一种目标行为的处理装置，其特征在于，包括：
20.一种运载工具，其配置有驾驶员监控系统DMS，其特征在于，所述DMS搭载有根据权利要求18或19所述的处理装置。
21.根据权利要求20所述的运载工具，其特征在于，所述目标行为包括驾驶员吸烟的行为、驾驶员喝水的行为、驾驶员打电话的行为、驾驶员吃东西的行为至少之一。
22.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至17中任一项所述的处理方法。
...【技术特征摘要】
1.一种目标行为的处理方法，其特征在于，包括：
2.根据权利要求1所述的处理方法，其特征在于，所述提取步骤包括：
3.根据权利要求2所述的处理方法，其特征在于，在获取所述第一目标框之后，所述提取步骤还包括：
4.根据权利要求2所述的处理方法，其特征在于，根据所述第一目标框的位置信息，从所述待测图像或待测视频帧中提取所述目标图像包括：
5.根据权利要求4所述的处理方法，其特征在于，所述预定比例是能够根据执行所述处理方法的设备的算力而动态调整的。
6.根据权利要求4所述的处理方法，其特征在于，将所述第一目标框向外扩展预定比例而得到第二目标框包括：
7.根据权利要求6所述的处理方法，其特征在于，所述第一数值和所述第二数值均为0.1。
8.根据权利要求1所述的处理方法，其特征在于，所述获取步骤包括：
9.根据权利要求8所述的处理方法，其特征在于，
10.根据权利要求8所述的处理方法，其特征在于，
11.根据权利要求10所述的处理方法，其特征在于，经由所述目标模型的预测分支使用所述特征信息进行hoi检测以获得交互信息包括：
12.根据权利要求10所述的处理方法，其特征在于，所述交互点的位置信息是每个人物对中目标人体的中心点和目标物...
【专利技术属性】
技术研发人员：刘迎春，张朝晋，
申请(专利权)人：威盛电子中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。