一种基于语音诱导与计算机视觉相结合的催眠方法技术

本发明专利技术公开了一种基于语音诱导与计算机视觉相结合的催眠方法，检测催眠过程中用户的脸部信息；检测催眠过程中用户的身体姿态信息；根据用户的脸部信息和身体姿态信息，确定睡眠状态，根据睡眠状态播放相应的催眠引导语；睡眠状态包括前期多动状态，中期平稳状态和后期相对静止状态。优点：检测催眠过程中用户的脸部信息和检测催眠过程中半躺在靠椅上的用户的身体姿态信息，根据脸部信息和身体姿态信息确定催眠阶段，根据催眠阶段播放对应于该睡眠阶段的催眠引导语，能够模拟催眠医生给病人催眠的过程，对失眠人群进行催眠，从而让失眠人群快速进入睡眠状态，并且有效解决了其他催眠检测系统需要让用户佩戴各种传感器而产生束缚感和不适感。产生束缚感和不适感。产生束缚感和不适感。

【技术实现步骤摘要】
一种基于语音诱导与计算机视觉相结合的催眠方法


[0001]本专利技术涉及一种基于语音诱导与计算机视觉相结合的催眠方法，属于计算机视觉以及医学催眠


技术介绍

[0002]人体的健康离不开良好的睡眠，睡眠对于人体的放松和身体机能的恢复非常重要，是保持身体健康的基本条件。但是由于现代生活节奏的加快，人们的工作压力大、生活作息不规律导致睡眠质量欠佳，其症状表现为失眠、半夜惊醒等。
[0003]催眠术是一种可以快速让人进入浅度睡眠甚至是深度睡眠状态的方法。传统的是通过专业的催眠师来给人催眠，但由于专业催眠师较少，邀请难度大，并且价格也比较昂贵。目前市面上也有通过一些技术来模拟催眠师进行催眠，主要是让用户佩戴传感器检测生物电信号，再通过催眠引导语的引导从而实现模拟催眠师对用户催眠。但是这种方法需要用户佩戴各种传感器，这样会让用户产生束缚感以及不适感，从而大大影响催眠的效果。

技术实现思路

[0004]本专利技术所要解决的技术问题是克服现有技术的缺陷，提供一种基于语音诱导与计算机视觉相结合的催眠方法。
[0005]为解决上述技术问题，本专利技术提供一种基于语音诱导与计算机视觉相结合的催眠方法，包括：检测催眠过程中用户的脸部信息，所述脸部信息包括眼睛睁闭、眨眼次数以及嘴巴打哈欠次数；检测催眠过程中用户的身体姿态信息，所述身体姿态信息包括是否有侧头动作以及身体是否静止；根据用户的脸部信息和身体姿态信息，确定睡眠状态，根据睡眠状态播放相应的催眠引导语；所述睡眠状态包括前期多动状态，中期平稳状态和后期相对静止状态；所述前期多动状态包括眼睛睁开或眨眼频率高于设定值一，身体大幅度运动；所述中期平稳状态包括眼睛眨眼或闭合或眨眼频率低于设定值二，或伴有打哈欠动作以及侧头动作；所述后期相对静止状态包括眼睛紧闭，身体保持静止状态。
[0006]进一步的，所述检测催眠过程中用户的脸部信息，包括：通过MediaPipe检测靠近眼睛轮廓的最内层的六个眼睛关键点，分别为眼睛轮廓左侧关键点P1，眼睛轮廓左上方关键点P2，眼睛轮廓右上方关键点P3，眼睛轮廓右侧关键点P4，眼睛轮廓右下方关键点P5和眼睛轮廓左下方关键点P6；根据所述六个眼睛关键点的坐标，计算EAR值，根据EAR值判断眼睛是睁开还是闭合，所述EAR值表示眼睛轮廓纵横比值；获取预设的睁眼的EAR值范围以及闭眼的EAR值范围，若计算得到的EAR值在预设时间内从睁眼的EAR值范围下降到闭眼的EAR值范围，然后又恢复到睁眼的EAR值范围，判定为眨眼，并记录一次眨眼次数；若计算得到的EAR值从睁眼的EAR值范围下降到闭眼的EAR值
范围，并维持在闭眼的EAR值范围，判定为闭眼；通过MediaPipe检测位于嘴巴轮廓最内层周围的六个嘴巴关键点，分别为嘴巴轮廓左侧关键点F1，嘴巴轮廓左上方关键点F2，嘴巴轮廓右上方关键点F3，嘴巴轮廓右侧关键点F4，嘴巴轮廓右下方关键点F5，嘴巴轮廓左下发关键点F6；根据六个嘴巴关键点的坐标，计算MAR值，根据MAR值判断嘴巴是张开还是闭合，所述MAR值表示嘴巴轮廓纵横比值；获取预设的嘴巴张开的MAR值范围以及嘴巴闭合的MAR值范围，若计算得到的MAR值在预设时间内从嘴巴张开的MAR值范围下降到嘴巴闭合的MAR值范围，然后又恢复到嘴巴闭合的MAR比值范围，判定为打哈欠，并记录一次打哈欠次数。
[0007]进一步的，所述眼睛轮廓纵横比值的计算公式为：；
[0008]式中，EAR表示眼睛轮廓纵横比值，‖‖表示取绝对值；所述嘴巴轮廓纵横比值的计算公式为：；
[0009]式中，MAR表示嘴巴轮廓纵横比值。
[0010]进一步的，所述检测催眠过程中用户的身体姿态信息，包括：通过PoseNet模型检测视频帧中用户身体上17个身体关键点位置，分别为鼻子关键点、左眼关键点、右眼关键点、左耳关键点、右耳关键点、左肩关键点、右肩关键点、左肘关键点、右肘关键点、左腕关键点、右腕关键点、左胯关键点关键点、右胯关键点、左膝关键点、右膝关键点、左踝关键点、右踝关键点；将鼻子关键点表示为q1，左肩关键点表示为q2，右肩关键点表示为q3，确定左肩关键点q2和右肩关键点q3连线的中点q4，计算∠q1q4q3和∠q1q4q2的值，若∠q1q4q3或∠q1q4q2小于预设的角度值，则判定为侧头动作；根据17个身体关键点的坐标信息计算身体运动量，根据身体运动量判断身体是否运动，当运动量超过设定阈值则判断身体发生运动，则判定为身体静止。
[0011]进一步的，所述根据17个身体关键点的坐标信息计算身体运动量，根据身体运动量判断身体是否运动，当运动量超过设定阈值则判断身体发生运动，则判定为身体静止，包括：根据k时刻前固定时间T内17个身体关键点的运动量确定k时刻用户的身体运动量；获取17个关键点单位时间i内的移动距离，分别记为：S1 ,S2 ,
ꢀ…
,S17 ，其中，所述固定时间T由若干个单位时间组成；k时刻的运动量记为M
k
，；k时刻前固定时间T内用户的身体运动量函数F表示为：F=f(M
k
‑
(T
‑
i)
,M
k
‑
(T
‑
2i)
,
…
,M
k
‑
i
,M
k
)其中，M
k
‑
(T
‑
i)
、M
k
‑
(T
‑
2i) 、M
k
‑
i
分别表示k
‑
(T
‑
i)、k
‑
(T
‑
2i)、k
‑
i时刻用户的运动量，f
表示函数形式；设置权重向量W
k
，表示为：W
k
=[w
k
‑
(T
‑
i)
,w
k
‑
(T
‑
2i)
,
…
,w
k
‑
i
,w
k
]其中w
k
‑
(T
‑
i)
,w
k
‑
(T
‑
2i)
,
…
,w
k
‑
i
,w
k
分别表示k
‑
(T
‑
i)、k
‑
(T
‑
2i)、k
‑
i、k时刻运动的权值；根据权重向量W
k
和k时刻前固定时间T内各个时刻的运动量确定身体运动量函数F，表示为：；
[0012]根据身体运动量函数F确定当前时刻的用户的身体运动量；对当前时刻的用户的身体运动量进行阈值判断，确定当前时刻的用户的身体运动量为多动状态、平本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语音诱导与计算机视觉相结合的催眠方法，其特征在于，包括：检测催眠过程中用户的脸部信息，所述脸部信息包括眼睛睁闭、眨眼次数以及嘴巴打哈欠次数；检测催眠过程中用户的身体姿态信息，所述身体姿态信息包括是否有侧头动作以及身体是否静止；根据用户的脸部信息和身体姿态信息，确定睡眠状态，根据睡眠状态播放相应的催眠引导语；所述睡眠状态包括前期多动状态，中期平稳状态和后期相对静止状态；所述前期多动状态包括眼睛睁开或眨眼频率高于设定值一，身体大幅度运动；所述中期平稳状态包括眼睛眨眼或闭合或眨眼频率低于设定值二，或伴有打哈欠动作以及侧头动作；所述后期相对静止状态包括眼睛紧闭，身体保持静止状态。2.根据权利要求1所述的基于语音诱导与计算机视觉相结合的催眠方法，其特征在于，所述检测催眠过程中用户的脸部信息，包括：通过MediaPipe检测靠近眼睛轮廓的最内层的六个眼睛关键点，分别为眼睛轮廓左侧关键点P1，眼睛轮廓左上方关键点P2，眼睛轮廓右上方关键点P3，眼睛轮廓右侧关键点P4，眼睛轮廓右下方关键点P5和眼睛轮廓左下方关键点P6；根据所述六个眼睛关键点的坐标，计算EAR值，根据EAR值判断眼睛是睁开还是闭合，所述EAR值表示眼睛轮廓纵横比值；获取预设的睁眼的EAR值范围以及闭眼的EAR值范围，若计算得到的EAR值在预设时间内从睁眼的EAR值范围下降到闭眼的EAR值范围，然后又恢复到睁眼的EAR值范围，判定为眨眼，并记录一次眨眼次数；若计算得到的EAR值从睁眼的EAR值范围下降到闭眼的EAR值范围，并维持在闭眼的EAR值范围，判定为闭眼；通过MediaPipe检测位于嘴巴轮廓最内层周围的六个嘴巴关键点，分别为嘴巴轮廓左侧关键点F1，嘴巴轮廓左上方关键点F2，嘴巴轮廓右上方关键点F3，嘴巴轮廓右侧关键点F4，嘴巴轮廓右下方关键点F5，嘴巴轮廓左下方关键点F6；根据六个嘴巴关键点的坐标，计算MAR值，根据MAR值判断嘴巴是张开还是闭合，所述MAR值表示嘴巴轮廓纵横比值；获取预设的嘴巴张开的MAR值范围以及嘴巴闭合的MAR值范围，若计算得到的MAR值在预设时间内从嘴巴张开的MAR值范围下降到嘴巴闭合的MAR值范围，然后又恢复到嘴巴闭合的MAR比值范围，判定为打哈欠，并记录一次打哈欠次数。3.根据权利要求2所述的基于语音诱导与计算机视觉相结合的催眠方法，其特征在于，所述眼睛轮廓纵横比值的计算公式为：；式中，EAR表示眼睛轮廓纵横比值，‖‖表示取绝对值；所述嘴巴轮廓纵横比值的计算公式为：；式中，MAR表示嘴巴轮廓纵横比值。4.根据权利要求1所述的基于语音诱导与计算机视觉相结合的催眠方法，其特征在于，所述检测催眠过程中用户的身体姿态信息，包括：
通过PoseNet模型检测视频帧中用户身体上17个身体关键点位置，分别为鼻子关键点、左眼关键点、右眼关键点、左耳关键点、右耳关键点、左肩关键点、右肩关键点、左肘关键点、右肘关键点、左腕关键点、右腕关键点、左胯关键点关键点、右胯关键点、左膝关键点、右膝关键点、左踝关键点、右踝关键点；将鼻子关键点表示为q1，左肩关键点表示为q2，右肩关键点表示为q3，确定左肩关键点q2和右肩关键点q3连线的中点q4，计算∠q
1 q
4 q3和∠q
1 q
4 q2的值，若∠q
1 q
4 q3或∠q
1 q
4 q2小于预设的角度值，则判定为侧头动作；根据17个身体关键点的坐标信息计算身体运动量，根据身体运动量判断身体是否运动，当运动量超过设定阈值则判断身体发生运动，则判定为身体静止。5.根据权利要求4所述的基于语音诱导与计算机视觉相结合的催眠方法，其特征在于，所述根据17个身体关键点的坐标信息计算身体运动量，根据身体运动量判断身体是否运动，当运动量超过设定阈值则判断身体发生运动，则判定为身体静止，包括：根据k时刻前固定时间T内17个身体关键点的运动量确定k时刻用户的身体运动量；获取17个关键点单位时间i内的移动距离，分别记为：S1 , S2 ,
ꢀ…
,S17 ，其中，所述固定时间T由若干个单位时间组成；k时刻的运动量记为M
k
，；k时刻前固定时间...

【专利技术属性】
技术研发人员：潘志庚，刘东，蔡创新，林海涛，刘勇，黄啸，袁德琴，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：