一种口型语言的转换方法及装置制造方法及图纸

一种口型语言的转换方法，其特征在于，所述方法包括：　将采集的嘴唇运动视频分割成口型图像序列组；　对所述口型图像序列组进行识别，得到所述口型图像序列组对应的语音音节。

【技术实现步骤摘要】

本专利技术涉及通信
，特别涉及一种口型语言的转换方法及装置。
技术介绍
通信技术快速发展的现代社会，手机产品在通信方面带给了人们极大的便 利，从蓝牙技术到无线上网都显示出了手机产品的强大功能。利用手机产品进 行通话，成为了人们联系的主要方式。如今，摄像头也已经成为了手机的标准 配置，随着手机功能的多样化，手机产品渐渐成为了人们日常生活中的必需品。现有的手机产品在通话时，都是利用语音通话技术，通过将人的语音信号 转换为相应的电信号，再通过无限射频技术发送，接受方接收到信号，还原出 原来的语音信号。在实现本专利技术的过程中，专利技术人发现，现有技术存在以下缺点 现有的手机产品，主要是对通话方的语音信号进行接受处理，没有考虑到 具有语音障碍的人士基本无法使用语音通话技术，因此，现有的手机产品还不能够为具有语音障碍的人士提供真正的方便。
技术实现思路
为了满足具有语音障碍人士的通话需求，为具有语音障碍的人士提供方便， 本专利技术实施例提供了一种口型语言的转换方法及装置，技术方案如下 一方面，提供了一种口型语言的转换方法，所述方法包括 将采集的嘴唇运动视频分割成口型图像序列组；对所述口型图像序列组进行识别，得到所述口型图像序列组对应的语音音节另一方面，提供了一种口型语言的转换装置，所述装置包括 分割模块，用于将采集的嘴唇运动视频分割成口型图像序列组；识别模块，用于对所述口型图像序列组进行识别，得到所述口型图像序列组对应的语音音节。还提供了一种口型语言的转换方法，所述方法包括识别语音音节对应的口型图像序列，获得所述语音音节对应的口型图4象序列；将所述口型图像序列连续播放，产生对应的口型语言。还提供了一种口型语言的转换装置，所述转换装置包括识别模块，用于识别语音音节对应的口型图像序列，获得所述语音音节对应的口型图像序列；播放模块，用于将所述识别模块识别出的口型图像序列连续播放，产生对应的口型语言。本专利技术实施例提供的技术方案的有益效果是通过将采集的嘴唇运动视频分割成口型图像序列，并识别口型图像序列所 对应的语音音节，实现口型语言到语音音节妁转换，还可以通过识别出语音音 节对应的口型图像序列，实现语音音节到口型语言的转换，解决了语音障碍人 士的通话问题，从而满足语音障碍人士的通话需求，为语音障碍人士提供方便。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作筒单地介绍，显而易见地，下面描述 中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 图1是本专利技术实施例1提供的口型语言的转换方法流程图； 图2是本专利技术实施例l提供的另一种口型语言的转换方法流程图； 图3是本专利技术实施例2提供的口型语言的转换方法流程图； 图4是本专利技术实施例2提供的口型图像示意图； 图5是本专利技术实施例2提供的另一种口型语言的转换方法流程图； 图6是本专利技术实施例3提供的口型语言的转换装置结构示意图； 图7是本专利技术实施例3提供的另一种口型语言的转换装置结构示意图； 图8是本专利技术实施例3提供的又一种口型语言的转换装置结构示意图； 图9是本专利技术实施例4提供的口型语言的转换装置结构示意5图IO是本专利技术实施例4提供的另一种口型语言的转换装置结构示意图。 具体实施例方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。 实施例1参见图1,本实施例提供了一种口型语言的转换方法，所述方法包括 101:将釆集的嘴唇运动视频分割成口型图像序列组；102:对所述口型图像序列组进行识别，得到所述口型图像序列组对应的语 音音节。上述方法通过对表现口型语言的嘴唇运动视频进行分割和识别，实现了 口 型语言到语音音节的转换，参见图2,本实施例还提供了一种口型语言的转换方 法，能够实现语音音节到口型语言的转换，方法流程如下201:识别语音音节对应的口型图像序列，获得所述语音音节对应的口型图 像序列；202:将所述口型图像序列连续播放，产生对应的口型语言。 本实施例通过对采集的嘴唇运动视频进行分割和识别，实现口型语言到语 音音节的转换，并通过识别出语音音节对应的口型图像序列，实现语音音节到 口型语言的转换，解决了语音障碍人士的通话问题，从而满足语音障碍人士的 通话需求，为语音障碍人士提供方便。实施例2本实施例提供了一种口型语言的转换方法，为了便于说明，以手机产品在 通话时应用本实施例提供的口型语言的转换方法为例，且该手机产品具有摄像 头的配置，参见图3，该口型语言的转换方法流程如下所示301:用手机摄像头录制人在说话时的嘴唇运动视频，该嘴唇运动视频由连 续口型图像序列组成，对手机摄像头釆集的嘴唇运动视频进行视频分割，即将 连续的口型图像序列分割成口型图 <象序列组。对于该步骤，因为人在发音时，字与字之间会有停顿，停顿时采集的口型 图像序列的特征变化很小，利用这一特性，可以很容易将连续的口型图像序列6分割出多组口型图像序列，得到口型图像序列组，每组口型图像序列对应一个 文字。302:对分割出的每组口型图像序列中的每个口型图像进行图像增强，提取 每个口型图像的图像特征。303:根据每组口型图像序列的所有口型图像的图像特征，分辨出每组口型 图像序列对应的语音音节。具体地，分辨每组口型图像序列对应的语音音节时，可以采用常用于模式 识别的H醒(Hidden Markov Model,隐马尔可夫才莫型)来识别语音音节。对于现代汉语来讲， 一个文字可能表示不同的语音音节， 一个语音音节也 可以用不同的文字来表示，如jian (四声)这个语音音节，可以用"见、件、 间、键、贱、建、箭"等文字表示，以图4所示的口型图像为例，对该步骤做 举例说明，由图可以看出，口型图像A为嘴唇未运动时的口型图像，设识别出 的口型图像B的语音音节为"a (啊)"，识别出口型图^象C的语音音节为"e (呃)"。304:将分辨出的每组口型图像序列对应的语音音节结合，得到嘴唇运动时 所对应的汉语纟并音。进一步地，得到嘴唇运动时所对应的汉语拼音后，还可以将汉语拼音转换 成文字，再转换成语音。实际应用方面，如果在某些特殊场合，如开会时，通 话双方中的一方不方便发出声音，那么，采用本实施例提供的方法，利用口型 语言的转换，通话双方仍然能够进行正常通话。本实施例提供的口型语言的转 换方法，同样能够满足有发声障碍人士的通话需求。本实施例提供的口型语言的转换方法，不仅能够实现将口型语言转换成语 音音节、文字或语音，同理，还能够实现将语音音节、文字或语音转换成口型 语言。为了便于说明，仍以手机产品在通话时应用本实施例提供的口型语言的 转换方法为例，运用该方法之前，预先在手机中存放标准的三维口型图像库及 拼音库，口型图像库中存储了标准的三维口型图像，每个语音音节都有对应的 一组标准的三维口型图像序列，实现当手机接收到人的语音时，将语音转换成 口型语言，参见图5，方法的具体流程如下501:手机接收到语音，从已存放的拼音库中检索到语音相对应的汉语拼音。502:将汉语拼音分解为对应的语音音节，每个语音音节对应一组标准的三 维口型图像序列；503:将所有语音音节对应的所本文档来自技高网...

【技术保护点】
一种口型语言的转换方法，其特征在于，所述方法包括：　将采集的嘴唇运动视频分割成口型图像序列组；　对所述口型图像序列组进行识别，得到所述口型图像序列组对应的语音音节。

【技术特征摘要】

【专利技术属性】
技术研发人员：孔令贺，
申请(专利权)人：深圳华为通信技术有限公司，
类型：发明
国别省市：94