影像识别方法及装置制造方法及图纸

一种影像识别方法及装置。在获得影像序列之后，利用行为识别模型分析影像序列，以获得使用者的行为姿态，并利用视线识别模型分析影像序列，以获得该使用者的视线特征。之后，计算行为姿态对应的第一分数，以及计算视线特征对应的第二分数。基于第一分数与第二分数来计算危险分数，并根据危险分数来发出对应的警示信号。

【技术实现步骤摘要】
影像识别方法及装置
本专利技术涉及一种影像处理方法及装置，且特别涉及一种影像识别方法及装置。
技术介绍
随着交通运输的发达，如何提高安全性是所有车厂不断努力与精进的方向。而在智慧车用的技术应用上，安全考量成为第一要素。为了有效提升行车安全，进一步预防事故发生，因此智慧车用的应用与技术，越来越被关注。据此，如何通过智慧车用的辅助来有效且实时地监控驾驶行为，借此降低由人为疏失所造成的行车事故，则为目前需考量的重点。
技术实现思路
本专利技术提供一种影像识别方法及装置，可提高识别准确率。本专利技术的影像识别方法，包括：获得影像序列；利用行为识别模型分析影像序列，以获得使用者的行为姿态；计算行为姿态对应的第一分数；利用视线识别模型分析影像序列，以获得该使用者的视线特征；计算视线特征对应的第二分数；基于第一分数与第二分数来计算危险分数；以及根据危险分数来发出对应的警示信号。在本专利技术的一实施例中，在获得使用者的行为姿态之后，还包括：在判定行为姿态为分心行为的情况下，计算行为姿态对应的第一分数，包括：将第一分数设定为分心行为所对应的主分数；以及在持续判定行为姿态为分心行为的过程中，每经过第一判断时间，将第一分数加上对应于主分数的辅助分数。在本专利技术的一实施例中，在获得使用者的行为姿态之后，还包括：在判定行为姿态为疲劳行为的情况下，设定第一分数为对应至疲劳等级为1的第一预设分数；在疲劳等级为1的情况下经过第一预设时间之后，判定行为姿态仍然为疲劳行为的情况下，将第一分数设定为对应至疲劳等级为2的第二预设分数，其中第二预设分数大于第一预设分数；以及在疲劳等级为2的情况下经过第二预设时间之后，判定行为姿态仍然为疲劳行为的情况下，将第一分数设定为对应至疲劳等级为3的第三预设分数，其中第三预设分数大于第二预设分数。在本专利技术的一实施例中，在获得使用者的视线特征之后，还包括：基于视线特征判断使用者是否未面向指定方向；以及在判定使用者未面向指定方向时，计算第二分数。计算第二分数的步骤包括：每经过第二判断时间，将第二分数加上指定分数。在本专利技术的一实施例中，在获得使用者的视线特征之后，还包括：基于视线特征判断是否符合视线疲劳特征；在判定视线特征符合视线疲劳特征时，设定第二分数为对应至疲劳等级为1的第一预设分数；在疲劳等级为1的情况下经过第一预设时间之后，判定视线特征仍然符合视线疲劳特征时，将第二分数设定为对应至疲劳等级为2的第二预设分数，其中第二预设分数大于第一预设分数；以及在疲劳等级为2的情况下经过第二预设时间之后，判定视线特征仍然符合视线疲劳特征时，将第二分数设定为对应至疲劳等级为3的第三预设分数，其中第三预设分数大于第二预设分数。在本专利技术的一实施例中，上述影像识别方法还包括：在检测到行为姿态回复至正常状态时，将第一分数归零；以及在检测到视线方向回到指定方向时，将第二分数归零。在本专利技术的一实施例中，在根据危险分数来发出对应的警示信号之后，还包括：持续发出警示信号，直到检测到行为姿态回复至正常状态以及检测到视线方向回到指定方向。在本专利技术的一实施例中，上述根据危险分数来发出对应的警示信号的步骤，包括：基于危险分数判断目前危险等级为第一警示等级、第二警示等级、第三警市等级或第四警示等级；在判定目前危险等级为第一警示等级，发出闪灯信号以及提示短音；在判定目前危险等级为第二警示等级，发出闪灯信号以及持续发出第一提示长音；在判定目前危险等级为第三警示等级，发出闪灯信号以及持续发出第二提示长音；以及在判定目前危险等级为第四警示等级，发送通知信号至远端管制中心。在本专利技术的一实施例中，通过行为识别模型来标记影像序列中的使用者的深度特征，通过视线识别模型来找出影像序列中的使用者的多个特征点。本专利技术的影像识别装置，包括：影像获取装置，获取影像序列；存储装置，包括行为识别模型、视线识别模型以及危险判定模型；以及处理器，耦接至影像获取装置存储装置。处理器经配置以：自影像获取装置获得影像序列；利用行为识别模型分析影像序列，以获得使用者的行为姿态；利用视线识别模型分析影像序列，以获得使用者的视线特征；利用危险判定模型计算行为姿态对应的第一分数，并且计算视线特征对应的第二分数，之后基于第一分数与第二分数来计算危险分数，并根据危险分数来发出对应的警示信号。基于上述，本专利技术采用行为识别模型与视线识别模型行来同时识别行为姿态与视线方向，来获得更准确的识别结果，并且基于危险分数来发出对应的警示信号，借此可提醒驾驶与后方来车。附图说明图1是依照本专利技术一实施例的影像识别装置的方框图。图2是依照本专利技术一实施例的基于OpenPose模型所识别出的特征点的示意图。图3是依照本专利技术一实施例的影像识别方法流程图。附图标记说明：100：影像识别装置110：处理器120：存储装置121：行为识别模型123：视线识别模型125：危险判定模型130：影像获取装置N0～N17：特征点S305～S335：影像识别方法各步骤具体实施方式图1是依照本专利技术一实施例的影像识别装置的方框图。请参照图1，影像识别装置100包括处理器110、存储装置120以及影像获取装置130。处理器110耦接至存储装置120以及影像获取装置130。在一实施例中，影像识别装置100可以设置在车辆中，与车辆的中控台连线。在另一实施例中，影像识别装置100可以整合在车辆的中控台内。处理器110例如为中央处理单元(CentralProcessingUnit，CPU)、物理处理单元(PhysicsProcessingUnit，PPU)、可程序化的微处理器(Microprocessor)、嵌入式控制芯片、数字信号处理器(DigitalSignalProcessor，DSP)、特殊应用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)或其他类似装置。存储装置120包括行为识别模型121、视线识别模型123以及危险判定模型125。行为识别模型121、视线识别模型123以及危险判定模型125分别由一或多个程序码片段所组成，通过处理器110来执行，以实现其对应的功能。影像获取装置130例如是采用电荷耦合元件(Chargecoupleddevice，CCD)镜头、互补式金属氧化物半导体晶体管(Complementarymetaloxidesemiconductortransistors，CMOS)镜头的摄影机、照相机等，用以获得影像序列。在此，影像序列可以是动态影像或静态影像。行为识别模型121主要处理人物行为，包含分心、疲劳、异常驾驶等人物身体特征与动作。而在行为识别模型121的训练阶段，可针对多种行为姿态的特征来进行模型训练。这些行为姿态还可分为分心行为与疲劳行为两大类别。分心行为包括车辆行驶中饮食、车辆行驶中操作车内中控台、车辆行驶中使用智能移动装置、在车辆行驶中手离开方向盘。本文档来自技高网...

【技术保护点】
1.一种影像识别方法，包括：/n获得一影像序列；/n利用一行为识别模型分析该影像序列，以获得一使用者的一行为姿态；/n计算该行为姿态对应的一第一分数；/n利用一视线识别模型分析该影像序列，以获得该使用者的一视线特征；/n计算该视线特征对应的一第二分数；/n基于该第一分数与该第二分数来计算一危险分数；以及/n根据该危险分数来发出对应的一警示信号。/n

【技术特征摘要】
20201125 TW 1091413001.一种影像识别方法，包括：
获得一影像序列；
利用一行为识别模型分析该影像序列，以获得一使用者的一行为姿态；
计算该行为姿态对应的一第一分数；
利用一视线识别模型分析该影像序列，以获得该使用者的一视线特征；
计算该视线特征对应的一第二分数；
基于该第一分数与该第二分数来计算一危险分数；以及
根据该危险分数来发出对应的一警示信号。


2.如权利要求1所述的影像识别方法，其中在获得该使用者的该行为姿态之后，还包括：
在判定该行为姿态为一分心行为的情况下，计算该行为姿态对应的该第一分数，包括：
将该第一分数设定为该分心行为所对应的一主分数；以及
在持续判定该行为姿态为该分心行为的过程中，每经过一第一判断时间，将该第一分数加上对应于该主分数的一辅助分数。


3.如权利要求1所述的影像识别方法，其中在获得该使用者的该行为姿态之后，还包括：
在判定该行为姿态为一疲劳行为的情况下，设定该第一分数为对应至一疲劳等级为1的一第一预设分数；
在该疲劳等级为1的情况下经过一第一预设时间之后，判定该行为姿态仍然为该疲劳行为的情况下，将该第一分数设定为对应至该疲劳等级为2的一第二预设分数，其中该第二预设分数大于该第一预设分数；以及
在该疲劳等级为2的情况下经过一第二预设时间之后，判定该行为姿态仍然为该疲劳行为的情况下，将该第一分数设定为对应至该疲劳等级为3的一第三预设分数，其中该第三预设分数大于该第二预设分数。


4.如权利要求1所述的影像识别方法，其中在获得该使用者的该视线特征之后，还包括：
基于该视线特征判断该使用者是否未面向一指定方向；以及
在判定该使用者未面向该指定方向时，计算该第二分数，包括：
每经过一第二判断时间，将该第二分数加上一指定分数。


5.如权利要求1所述的影像识别方法，其中在获得该使用者的该视线特征之后，还包括：
基于该视线特征判断是否符合一视线疲劳特征；
在判定该视线特征符合该视线疲劳特征时，设定该第二分数为对应至一疲劳等级为1的一第一预设分数；
在该疲劳等级为1的情况下经过一第一预设时间之后，判定该视线特征仍然符合该视线疲劳特征时，将该第二分数设定为对应至该疲劳等级为2的一第二预设分数，其中该第二预设分数大于该第一预设分数；以及
在该疲劳等级为2的情况下经过一第二预设时间之后，判定该视线特征仍然符合该视线疲劳特征时，将该第二分数设定为对应至该疲劳等级为3的一第三预设分数，其中该第三预设分数大于该第二预设分数。


6.如权利要求1所述的影像识别方法，还包括：
在检测到该行为姿态回复至一正常状态时，将该第一分数归零；以及
在检测到该视线方向回到一指定方向时，将该第二分数归零。


7.如权利要求1所述的影像识别方法，其中在根据该危险分数来发出对应的该警示信号之后，还包括：
持续发出该警示信号，直到检测到该行为姿态回复至一正常状态以及检测到该视线方向回到一指定方向。


8.如权利要求1所述的影像识别方法，其中根据该危险分数来发出对应的该警示信号的步骤，包括：
基于该危险分数判断一目前危险等级为一第一警示等级、一第二警示等级、一第三警市等级或一第四警示等级；
在判定该目前危险等级为该第一警示等级，发出一闪灯信号以及一提示短音；
在判定该目前危险等级为该第二警示等级，发出该闪灯信号以及持续发出一第一提示长音；
在判定该目前危险等级为该第三警示等级，发出该闪灯信号以及持续发出一第二提示长音；以及
在判定该目前危险等级为该第四警示等级，发送一通知信号至一远端管制中心。


9.如权利要求1所述的影像识别方法，其中通过该行为识别模型来标记该影像序列中的该使用者的深度特征，通过该视线识别模型来找出该影像序列中的该使用者的多个特征点。


10.一种影像识别装置，包括：
一影像获取装置，获取一影像序列；
一存储装置，包括一行为识别模型、一视线识别模型以及一危险判定模型；以及
一处理器，耦接至该影像获取装置与...

【专利技术属性】
技术研发人员：徐立恒，黄腾莹，
申请(专利权)人：友达光电股份有限公司，
类型：发明
国别省市：中国台湾;71