唇语识别方法及电子装置制造方法及图纸

一种唇语识别方法，其特征在于，所述方法包括：透过摄像模块每隔既定时间截取对应于用户的脸部图像；透过处理模块于每张所述脸部图像中截取对应于唇部的多个抛物线，并计算每张所述脸部图像中所述抛物线之间的面积；及透过所述处理模块根据多张所述脸部图像中对应于每个所述抛物线的轨迹变化及对应于所述面积的面积变化自字形库中选择多个字形之一者，其中所述字形库中的每个所述字形具有各自对应的所述轨迹变化及所述面积变化。本发明专利技术还提供一种电子装置。本发明专利技术可有效地降低因环境光照所造成的图像信息损失的问题，亦可降低唇语字形识别的运算量，进而减少处理模块的运算负担。担。担。

【技术实现步骤摘要】
唇语识别方法及电子装置


[0001]本专利技术是关于一种唇语识别方法及电子装置，尤其关于一种根据唇部的轨迹变化及面积变化来判断字形的唇语识别方法及电子装置。

技术介绍

[0002]语言为目前人类在沟通及交流上最方便表达的一种方式，而目前语言至少包括了语音语言、手势语、唇语等。而在大部分的场合中，人类通常使用语音语言及手势语来进行交流，但在某些特殊情况下，例如在极度吵杂的环境或对于听力障碍者而言，唇语的识别则较语音语言及手势语来得重要。于现有技术中，通常透过一般彩色相机来获取用户的脸部图像，再从中获取对应于唇部的特征信息，但由于可见光图像容易受到环境的影响，进而导致图像特征获取的精度降低，造成识别准确率不佳，因此如何提升唇语识别的准确率并避免过于复杂的运算流程为目前所需解决的问题。

技术实现思路

[0003]有鉴于此，需要一种能将广告信息精准推送给用户的唇语识别方法及电子装置。
[0004]本专利技术提供一种唇语识别方法，其特征在于，所述方法包括：透过摄像模块每隔既定时间截取对应于用户的脸部图像；透过处理模块于每张所述脸部图像中截取对应于唇部的多个抛物线，并计算每张所述脸部图像中所述抛物线之间的面积；及透过所述处理模块根据多张所述脸部图像中对应于每个所述抛物线的轨迹变化及对应于所述面积的面积变化自字形库中选择多个字形之一者，其中所述字形库中的每个所述字形具有各自对应的所述轨迹变化及所述面积变化。
[0005]本专利技术还提供一种电子装置，其特征在于，所述电子装置包括摄像模块及处理模块。所述摄像模块用以每隔既定时间截取对应于用户的脸部图像。所述处理模块用以于每张所述脸部图像中截取对应于唇部的多个抛物线，计算每张所述脸部图像中所述抛物线之间的面积，及根据多张所述脸部图像中对应于每个所述抛物线的轨迹变化及对应于所述面积的面积变化自字形库中选择多个字形之一者。其中，所述字形库中的每个所述字形具有各自对应的所述轨迹变化及所述面积变化。
[0006]根据本专利技术一实施例，其中所述处理模块更根据被选择的所述字形产生多个预测字形，截取对应于新的脸部图像的所述抛物线及所述面积，及自多个所述预测字形中选择下一字形。
[0007]根据本专利技术另一实施例，其中所述处理模块藉由隐性马可夫链根据所述字形产生多个所述预测字形。
[0008]根据本专利技术另一实施例，其中所述抛物线包括对应于上唇的第一抛物线、对应于下唇的第二抛物线及对应于嘴型的第三抛物线。
[0009]根据本专利技术另一实施例，其中所述面积为所述第一抛物线及所述第二抛物线之间的面积。
[0010]根据本专利技术另一实施例，其中所述摄像模块为红外摄像模块，及所述脸部图像为红外图像。
附图说明
[0011]图1为根据本专利技术一实施例所述的电子装置的方块图。
[0012]图2为根据本专利技术一实施例所述的根据特征点取得对应于唇部的抛物线的示意图。
[0013]图3为根据本专利技术一实施例所述的唇语识别方法的流程图。
[0014]主要元件符号说明
[0015]电子装置
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
100
[0016]摄像模块
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
110
[0017]处理模块
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
120
[0018]显示模块
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
130
[0019]唇部特征点
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
P1、P2、P3、P4
[0020]唇部面积
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
A1
[0021]抛物线
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
y1、y2、y3
[0022]步骤流程
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
S201至S206
具体实施方式
[0023]有关本专利技术之系统及方法适用之其他范围将于接下来所提供的详述中清楚易见。必须了解的是下列的详述以及具体的实施例，当提出有关唇语识别方法及电子装置的示范实施例时，仅作为描述的目的以及并非用以限制本专利技术的范围。
[0024]图1为根据本专利技术一实施例所述的电子装置100的方块图。电子装置100至少包括摄像模块110、处理模块120、显示模块130及存储模块140。摄像模块110可为任意摄像头，用以每隔既定时间截取对应于用户脸部的脸部图像。值得注意的是，由于一般可见光图像容易受到环境光线变化的影响，因此在进行光照预处理后可见光图像可能会损失一部分的图像信息。然而，由于近红外人脸成像并不受环境光照的影响，并可提供高质量的人脸图像，包括图像亮度合适、均匀、对比度合适、不存在过曝光等的方法，故于本专利技术的实施例中，摄像模块110较佳的为使用红外摄像头来取得对应于用户的红外图像。
[0025]处理模块120用以根据多个不同字形所对应的多张连续唇部图像的抛物线的轨迹变化及面积变化建立字形库，并于自摄像模块110接收到脸部图像后，自脸部图像中截取对应于唇部的多个特征点，根据特征点进一步地取得对应于唇部的抛物线及面积，再根据连续多张脸部图像的抛物线的变化及面积变化自字形库中搜寻对应的字形。其中，处理模块120可为例如以专用硬体电路或者通用硬体(例如，单一处理器、具平行处理能力之多处理器、图形处理器或者其它具有运算能力之处理器)，且于执行程式码或者软体时，提供之后所描述的功能。显示模块130可为显示面板(例如薄膜液晶显示面板、有机发光二极体面板或者其它具显示能力的面板)，用以显示处理模块120所判断出来的字形，以提供给用户观看。储存模块140用以储存执行前述过程中所需要的演算法及字形库等。其中，用户透过录制多张对应于多个字形的脸部图像，计算每个字形所对应的多张脸部图像的抛物线的轨迹
变化及面积变化，并透过深度学习演算法建立字形库，以供处理模块120作为比对用户唇形变化的依据。值得注意的是，前述有关摄像模块、处理模块、显示模块及存储模块的说明仅为一些示例，但本专利技术并不以此为限。
[0026]根据本专利技术一实施例，处理模块120自摄像模块110取得脸部图像后，可先透过例如将脸部分割为三分之一来取得对应于唇部的图像，以减少处理模块120的运算负担。接着，处理模块120截取对应于唇部的多个特征点以取得对应于唇部轮廓的多个抛物线。举例来说，如图3所示，特征点可至少包括对应于右嘴角的第一特征点P1、对应于左嘴角的第二特征点P2、对应于上唇最高点的第三特征点P3及对应于下唇最低点的第四特征点P4。接着，处理模块120即可根据对应于左右嘴角的第一特征点P1、第二特征点P2与对应于上唇最高点的第三特征点P3来取得对应于上唇的抛物线y1，根据对应于左右嘴角的第一特征点P1、第二特征点P2与对应于下唇最低点的第四特征点P4来取得对应于下唇的抛物线y2，及透过判断唇缝或齿缝来取得对应于中间嘴型的抛物线y3。值得注意的是，前述取得特征点及抛物线的示例仅为本专利技术的简单说明，为了更精准地取得抛物线y本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种唇语识别方法，其特征在于，所述方法包括：透过摄像模块每隔既定时间截取对应于用户的脸部图像；透过处理模块于每张所述脸部图像中截取对应于唇部的多个抛物线，并计算每张所述脸部图像中所述抛物线之间的面积；及透过所述处理模块根据多张所述脸部图像中对应于每个所述抛物线的轨迹变化及对应于所述面积的面积变化自字形库中选择多个字形之一者；其中，所述字形库中的每个所述字形具有各自对应的所述轨迹变化及所述面积变化。2.如权利要求1所述的唇语识别方法，其特征在于，所述方法更包括：透过所述处理模块根据被选择的所述字形产生多个预测字形；透过所述处理模块截取对应于新的脸部图像的所述抛物线及所述面积；及透过所述处理单元自多个所述预测字形中选择下一字形。3.如权利要求2所述的唇语识别方法，其特征在于，其中透过所述处理模块根据被选择的所述字形产生多个所述预测字形的步骤更包括：透过所述处理模块藉由隐性马可夫链根据所述字形产生多个所述预测字形。4.如权利要求1所述的唇语识别方法，其特征在于，其中所述抛物线包括对应于上唇的第一抛物线、对应于下唇的第二抛物线及对应于嘴型的第三抛物线。5.如权利要求4所述的唇语识别方法，其特征在于，其中所述面积为所述第一抛物线及所述第二抛物线之间的面积。6.如权利要求1所述的唇语识别方法，其特...

【专利技术属性】
技术研发人员：刘东林，
申请(专利权)人：南宁富联富桂精密工业有限公司，
类型：发明
国别省市：