一种基于人脸识别的软件交互方法与装置制造方法及图纸

本发明专利技术公开一种基于人脸识别的软件交互方法与装置，该方法包括：客户端获取包含人脸的视频和音频数据；提取视频数据中人脸关键部位的动作特征信息和音频数据中音量大小信息；通过肢体动作算法和音量判断算法将人脸动作特征信息和音量大小信息转化为软件中虚拟物体的动作指令。本发明专利技术的软件程序对人脸动作的识别精度高，反馈速度快且集成了体积小、接口丰富的SDK，可供软件工程师们做后续的优化，不断提升用户体验；另一方面，用户可以通过本软件应用随时随地方便快捷地锻炼眼睛，面部肌肉还有颈椎，有效地防治坐办公室的电脑族的职业病。病。病。

【技术实现步骤摘要】
一种基于人脸识别的软件交互方法与装置


[0001]本专利技术涉及智能终端
，具体涉及一种基于人脸识别的软件交互方法与装置。

技术介绍

[0002]近年来大众对健康的关注空前提升，尤其是对于在职场中挣扎奋斗的“打工人”来说，为了幸福，很多人不惜拿命去拼，频发的健康问题也让打工人的健康意识不断深化。
[0003]职业病一词由来已久，快节奏职场白领的健康问题，藏在那些加过的班，熬过的夜和点过的外卖里；“逐渐后移的发际线”、“没有富贵的富贵包“、“握不住鼠标的鼠标手”、“日渐深邃的黑眼圈”、“常伴左右的焦虑与压力”和“不知何时凸起的肚腩”都是努力工作的证明。另外根据中国医疗保健国际交流促进会颈椎疾病防治专业委员会调查显示，我国近1.5亿人有颈椎问题；对于80后与85后的职场白领来说，颈腰椎问题尤其明显，特别是法务和财务人员。
[0004]对于绝大多数白领来说，每天大部分的时间都被工作所占据，不太可能有额外的时间去健身房和户外锻炼，因此急需一种便捷的锻炼方式和装置来解决上述问题。
[0005]目前市面上针对一个人的简易锻炼装置和方式大多需要活动空间或者额外的装备，本专利技术仅需当今社会人人必备的手机，不需额外的活动空间，可随时随地进行，且因为是游戏互动的方式，极具趣味性。
[0006]综上所述，本专利技术能够满足上班族乃至时间，场地条件不够的人群的锻炼需求，在给用户带来欢乐的同时有效地防治职业病，具有广阔的应用前景。

技术实现思路

[0007]本专利技术公开了一种基于人脸识别的软件交互方法与装置，其包括下列步骤：
[0008]提取单元获取包含人脸的视频和音频数据；
[0009]该视频为包含全部人脸的完整动作视频，音频数据可以为有意义的语句，也可以为无意义的音节。
[0010]筛查单元通过人脸识别方法获得视频数据中人脸关键部位的动作特征信息；
[0011]人脸关键部位为完成人脸动作具体的五官或面部区域，例如眼睛，鼻子，嘴巴，腮帮等。上述人脸识别方法包括以下步骤：
[0012]获取视频数据中人脸各个面部区域图像的平均饱和度值；
[0013]对面部区域图像的平均饱和度值进行指数函数处理，得到人脸关键部位的平均饱和度值；
[0014]比较人脸动作前后的人脸关键部位的平均饱和度值的差异并得到差异度，该差异度为人脸关键部位的动作特征信息。
[0015]色彩的饱和度指色彩的鲜艳程度，也称作纯度。在色彩模型下，饱和度是色彩的3个属性之一，另外两个属性为色相和明度；在此模型下色相的取值范围为0
°
到360
°
，饱和度
和明度取值范围为0到100％。在色彩学中，原色饱和度最高，随着饱和度降低，色彩变得暗淡直至成为无彩色，即失去色相的色彩。作为信息的载体，色彩不仅依附于设计形式，还作为一个主体来完成信息传达的过程。对于图像处理来说，饱和度的运用与计算是其重要的部分，在实际应用中，依据饱和度高低值将色彩分为低饱和度对比、中饱和度对比和高饱和度对比3个基本种类以及饱和度组合对比一个衍生种类。
[0016]用户的客户端应带有图像处理程序，可对目标图像的饱和度进行读取和变换，并可获得人脸图像任一区域各个像素的饱和度值并根据各个像素的饱和度值计算出人脸区域图像的平均饱和度值。
[0017]此时获得的区域图像平均饱和度值虽然已含有人脸关键部分的特征信息在内，但所涵盖的区域范围过大，因此该平均饱和度值往往不准确，需要进一步处理以获得更准确的结果。
[0018]通过对初步获得的人脸区域图像平均饱和度值进行指数函数处理，可得到想要的仅涉及人脸关键部位的平均饱和度值的结果。
[0019]该指数函数采用数学模型表示为：y＝k(3
x
+7)
[0020]得到人脸关键部位图像的平均饱和度值后，将人脸动作后图像的平均饱和度值除以人脸动作前图像的平均饱和度值，即可得到两者的差异度，也就是人脸关键部位的动作特征信息。
[0021]计算单元通过肢体动作算法和音量判断算法将人脸动作特征信息和音频数据转化为软件中虚拟物体的动作指令。
[0022]进一步地，为了实现通过人脸的动作来操控软件中虚拟物体的目的，需要建立一种人脸关键部位的动作特征信息和软件中虚拟物体的移动间的一种映射关系，此时通过肢体动作算法实现。该算法包括以下步骤：
[0023]将人脸动作特征信息分为头部动作特征信息，眼部动作特征信息，嘴部动作特征信息；
[0024]在软件环境中按照预设的比例构建人脸3D模型；
[0025]将头部动作特征信息，眼部动作特征信息和嘴部特征信息分别转化为人脸虚拟3D五官中头部关键点，眼部关键点和嘴部关键点的坐标偏移量；
[0026]将头部和眼部关键点的坐标偏移量作为软件中虚拟物体的动画位移量使用，将嘴部关键点的坐标偏移量作为输出结果发送至音量判断算法。
[0027]人脸3D模型在服务器端的3D软件中进行搭建，该预设的比例根据交互软件开发时的实际需求决定，而非根据计算机屏幕的比例。若需要客户端视频动画中的虚拟物体产生更大的位移量，则将该比例调高；若希望客户端视频动画中的虚拟物体产生相对较小的位移量，则将该比例降低。
[0028]为了实现通过人声发出的音量大小控制虚拟物体大小变换的目的，需要在人脸识别的基础上嵌入另一种算法，即音量判断算法。
[0029]更进一步地，该算法包括以下步骤：
[0030]预设最小时间间隔；
[0031]将实时的嘴部关键点的坐标偏移量和音量大小作与运算，若结果为1，则继续以下步骤，否则终止；
[0032]将预设最小时间间隔内的音量变化作为软件环境中虚拟物体大小的变化量。
[0033]该算法在实际编程实现时，需要在代码中加入应用程序接口访问功能，以便能访问本地环境的API组件。
[0034]API，即应用程序接口，是一些预先定义的接口(如函数、HTTP接口)，或指软件系统不同组成部分衔接的约定。用来提供应用程序与开发人员基于某软件或硬件得以访问的一组例程，而又无需访问源码，或理解内部工作机制的细节。
[0035]音量判断算法加入API接口访问功能后，可以便捷地调用用户本地设备中的音频设备执行音量输入和处理的功能。
[0036]另一面，本专利技术采用的另一个技术方案是：提供一种基于人脸识别的软件交互装置，该装置包括：
[0037]提取单元：通过客户端程序提取包含人脸动作的视频和音频数据；
[0038]筛查单元：将提取到的包括人脸动作的视频分解为不同表情的图像并比较，获得不同表情下面部图像关键部位的色彩饱和度的差异信息；
[0039]计算单元：通过人脸动作特征信息和音量变化信息计算出交互动画中虚拟物体的位移和变换量；
[0040]环境检测单元：用于当客户端用户所在背景环境的亮度不足以支持提取单元进行工作时，对背景环境进行补救措施使所述背景环境能够支持提取单元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸识别的软件交互方法，其特征在于，包括以下步骤：S1:提取单元获取包含人脸的视频和音频数据；S2:筛查单元通过人脸识别方法获得视频数据中人脸关键部位的动作特征信息；S3:计算单元通过肢体动作算法和音量判断算法将人脸动作特征信息和音频数据转化为软件中虚拟物体的动作指令。2.根据权利要求1所述的方法，步骤S2中所述的人脸识别方法，其特征在于，包括以下步骤：S20:获取视频数据中人脸各个面部区域图像的平均饱和度值；S21：对面部区域图像的平均饱和度值进行指数函数处理，得到人脸关键部位的平均饱和度值；S22：比较人脸动作前后的人脸关键部位的平均饱和度值的差异并得到差异度，该差异度为人脸关键部位的动作特征信息。3.根据权利要求1所述的方法，步骤S3中所述的肢体动作算法，其特征在于,包括以下步骤：S30：将人脸动作特征信息分为头部动作特征信息，眼部动作特征信息，嘴部动作特征信息；S31：在软件环境中按照预设的比例构建人脸3D模型；S32：将头部动作特征信息，眼部动作特征信息和嘴部动作特征信息分别转化为人脸虚拟3D五官中头部关键点，眼部关键点和嘴部关键点的坐标偏移量；S33:将头部关键点和眼部关键点的坐标偏移量作为软件中虚拟物体的动画位移量使用，将嘴部关键点的坐标偏移量作为输出结果发送至音量判断算法。4.根据权利要求1所述的方法，步骤S3中所述的音量判断算法，其特征在于，包括以下步骤：S34：预设最小时间间隔；S35：将实时的嘴部关键点的坐标偏移量和音量大小作与运算，若结果为1，则继续以下步骤，否则终止；S36：将预设最小时间间隔内的音量变化作为软件环境中虚拟物体大小的变化量...

【专利技术属性】
技术研发人员：曹伟伟，陈庆展，孙宏岩，申霞，
申请(专利权)人：广州轻游信息科技有限公司，
类型：发明
国别省市：