【技术实现步骤摘要】
本专利技术涉及图像，尤其涉及一种饮食行为识别方法。
技术介绍
1、轨道交通已成为人们出行重要的交通方式，许多地方对乘坐轨道交通的乘客也做了约束，如明确禁止在地铁上饮食等。因此，如何对乘客或工作人员在车站或车厢内饮食进行监管，成为轨道交通运营中的一项重要工作。
2、现有技术中，可以利用目标检测算法进行人体检测，然后使用openpose提取人体骨架，最后将骨架数据输入饮食行为动作识别分类器进行识别分类，从而实现饮食行为识别。
3、然而，上述方式中，由于仅利用骨架数据进行饮食行为识别，会导致饮食行为识别的结果不准确。
技术实现思路
1、本专利技术提供一种饮食行为识别方法，用以解决现有技术中饮食行为的识别结果准确度低的缺陷，实现提高饮食行为的识别准确度。
2、本专利技术提供一种饮食行为识别方法，包括：
3、获取视频图像序列；
4、从所述视频图像序列中提取待检测用户对应的手部动作特征和嘴部动作特征；所述手部动作特征用于表征所述待检测用户的手部是否持有物品、且在持有物品时所述手部是否向嘴部运动；所述嘴部动作特征用于表征所述待检测用户的嘴部是否存在张合动作；
5、基于所述手部动作特征和所述嘴部动作特征，确定所述待检测用户的饮食行为识别结果。
6、根据本专利技术提供的一种饮食行为识别方法，从所述视频图像序列中提取待检测用户对应的手部动作特征，包括：
7、基于所述视频图像序列，确定所述待检测用户对应的骨架
8、将所述骨架关键点轨迹和手部区域子图轨迹输入手部动作特征提取模型，得到所述手部动作特征提取模型输出的所述手部动作特征。
9、根据本专利技术提供的一种饮食行为识别方法，基于所述视频图像序列，确定所述待检测用户的手部区域子图轨迹，包括：
10、针对所述视频图像序列的各所述视频图像，确定所述视频图像中所述待检测用户的手腕关键点的位置；
11、基于所述手腕关键点的位置，确定所述视频图像中的手部区域子图；
12、将所述手部区域子图输入物品检测模型，得到所述物品检测模型输出的目标置信度；
13、基于各视频图像中的所述手部区域子图的中心点位置和对应的目标置信度，确定所述手部区域子图轨迹。
14、根据本专利技术提供的一种饮食行为识别方法，所述基于所述手腕关键点的位置，确定所述视频图像中的手部区域子图，包括：
15、基于预设距离，将所述手腕关键点的位置向表征手部的方向进行移动，得到所述手部区域子图的中心点位置；
16、基于所述手部区域子图的中心点位置，按照预设尺寸裁剪所述视频图像，得到所述视频图像中的手部区域子图。
17、根据本专利技术提供的一种饮食行为识别方法，基于所述视频图像序列，确定所述待检测用户的骨架关键点轨迹，包括：
18、针对所述视频图像序列的各所述视频图像，将所述视频图像输入骨架提取模型，得到所述骨架提取模型输出的所述视频图像中各标识对应的初始骨架关键点的位置和置信度；
19、在所有标识对应的初始骨架关键点的位置和置信度中，获取预设标识对应的初始骨架关键点的位置和置信度；所述预设标识对应的初始骨架关键点包括手臂和手部对应的骨架关键点；
20、基于各所述视频图像中所述预设标识对应的初始骨架关键点的位置和置信度，确定所述待检测用户的骨架关键点轨迹。
21、根据本专利技术提供的一种饮食行为识别方法，从所述视频图像序列中提取待检测用户对应的嘴部动作特征，包括：
22、针对所述视频图像序列中各视频图像，对所述视频图像进行人脸识别检测，得到人脸识别检测结果；
23、对所述人脸识别检测结果表征的人脸区域进行特征点提取，得到表征所述待检测用户的内嘴唇的多个目标特征点；
24、基于各所述视频图像中各所述目标特征点的位置，确定所述嘴部动作特征。
25、根据本专利技术提供的一种饮食行为识别方法，所述基于各所述视频图像中各所述目标特征点的位置，确定所述嘴部动作特征，包括：
26、针对各所述视频图像，基于所述视频图像中各所述目标特征点的位置，确定所述视频图像中所有所述目标特征点组成区域的面积和高度；
27、基于各所述视频图像对应的所述面积，确定所述视频图像序列对应的面积变化率，并基于各所述视频图像对应的所述高度，确定所述视频图像序列对应的高度变化率；
28、基于所述面积变化率和所述高度变化率，确定所述嘴部动作特征。
29、根据本专利技术提供的一种饮食行为识别方法，所述基于所述手部动作特征和所述嘴部动作特征，确定所述待检测用户的饮食行为识别结果，包括：
30、将所述手部动作特征和所述嘴部动作特征输入饮食行为识别模型，得到所述饮食行为识别模型输出的饮食行为识别结果，所述饮食行为识别模型为基于样本用户的样本手部动作特征、样本嘴部动作特征和所述样本用户的饮食行为标签训练得到的。
31、根据本专利技术提供的一种饮食行为识别方法，所述手部动作特征提取模型为时空图卷积网络st-gcn。
32、根据本专利技术提供的一种饮食行为识别方法，所述方法还包括：
33、在所述饮食行为识别结果表征所述待检测用户存在饮食行为的情况下，基于采集所述视频图像序列的摄像设备的位置，确定所述待检测用户所处的目标区域；
34、向目标用户对应的终端设备发送提示信息，所述提示信息包括所述目标区域和所述待检测用户的人脸图像，所述提示信息用于指示所述目标用户对处于所述目标区域的所述待检测用户进行禁止饮食行为的提醒。
35、本专利技术还提供一种饮食行为识别装置，包括：
36、获取模块，用于获取视频图像序列；
37、提取模块，用于从所述视频图像序列中提取待检测用户对应的手部动作特征和嘴部动作特征；所述手部动作特征用于表征所述待检测用户的手部是否持有物品、且在持有物品时所述手部是否向嘴部运动；所述嘴部动作特征用于表征所述待检测用户的嘴部是否存在张合动作；
38、确定模块，用于基于所述手部动作特征和所述嘴部动作特征，确定所述待检测用户的饮食行为识别结果。
39、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述饮食行为识别方法。
40、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述饮食行为识别方法。
41、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算本文档来自技高网...
【技术保护点】
1.一种饮食行为识别方法，其特征在于，包括：
2.根据权利要求1所述的饮食行为识别方法，其特征在于，从所述视频图像序列中提取待检测用户对应的手部动作特征，包括：
3.根据权利要求2所述的饮食行为识别方法，其特征在于，基于所述视频图像序列，确定所述待检测用户的手部区域子图轨迹，包括：
4.根据权利要求3所述的饮食行为识别方法，其特征在于，所述基于所述手腕关键点的位置，确定所述视频图像中的手部区域子图，包括：
5.根据权利要求2所述的饮食行为识别方法，其特征在于，基于所述视频图像序列，确定所述待检测用户的骨架关键点轨迹，包括：
6.根据权利要求1所述的饮食行为识别方法，其特征在于，从所述视频图像序列中提取待检测用户对应的嘴部动作特征，包括：
7.根据权利要求6所述的饮食行为识别方法，其特征在于，所述基于各所述视频图像中各所述目标特征点的位置，确定所述嘴部动作特征，包括：
8.根据权利要求1-7任一项所述的饮食行为识别方法，其特征在于，所述基于所述手部动作特征和所述嘴部动作特征，确定所述待检测用户的饮食
9.根据权利要求2所述的饮食行为识别方法，其特征在于，所述手部动作特征提取模型为时空图卷积网络ST-GCN。
10.根据权利要求1-7任一项所述的饮食行为识别方法，其特征在于，所述方法还包括：
...【技术特征摘要】
1.一种饮食行为识别方法，其特征在于，包括：
2.根据权利要求1所述的饮食行为识别方法，其特征在于，从所述视频图像序列中提取待检测用户对应的手部动作特征，包括：
3.根据权利要求2所述的饮食行为识别方法，其特征在于，基于所述视频图像序列，确定所述待检测用户的手部区域子图轨迹，包括：
4.根据权利要求3所述的饮食行为识别方法，其特征在于，所述基于所述手腕关键点的位置，确定所述视频图像中的手部区域子图，包括：
5.根据权利要求2所述的饮食行为识别方法，其特征在于，基于所述视频图像序列，确定所述待检测用户的骨架关键点轨迹，包括：
6.根据权利要求1所述的饮...
【专利技术属性】
技术研发人员：张恩伟，姬光，曹云，张恩宁，蒙移发，尹宇鹤，余建春，张雷雷，赵盛盛，
申请(专利权)人：北京声迅电子股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。