基于三维头像的聋儿语言康复方法及系统技术方案

本发明专利技术涉及基于三维头像的聋儿语言康复方法及系统，属于医疗仪器类，其主要技术是将三维建模与可视语音技术相结合，建立基于参数驱动的三维唇动模型及适合聋儿康复的三维汉语辅助发音可视语音库，并在三维会话头像建立的基础上，结合语音识别和图像识别技术对聋儿发音进行校正，以达到帮助聋儿恢复汉语发音功能。

【技术实现步骤摘要】

本专利技术涉及一种训练聋儿发音的方法以及实现这种方法的系统，特别是一种基于三维头像的聋儿语言康复方法及其系统，尤指一种利用计算机三维建模技术、语音识别技术、图像识别技术相结合进行聋儿汉语发音康复的基于三维头像的聋儿语言康复方法及其系统。
技术介绍
儿童的语言能力主要通过自然习得。聋儿由于听力障碍，使得语言听说的能力远远落后于同龄健全儿童。而学龄前是儿童获得语言的关键时期，医学专家指出0 3岁是儿童大脑发育最快的时期，也是学习语言的最关键期。7岁以前是最佳期，7 12岁是可塑期。如果此时发生耳聋，则严重影响儿童的听觉，言语发育，同时也影响其他方面的发展。聋儿语言康复训练主要针对学龄前聋儿，旨在通过语言康复训练，帮助聋儿学习语音，理解语词，培养语感及自主学习语言的意识，使其具有一定的懂话能力，说话能力，达到能听会说，聋而不鹏，为其今后的知识学习和参与社会活动奠定基础。 中国技术专利申请号为85200511，公开号为85200511，为"TET-型聋鹏学话机"公开了一种聋鹏学话机专供聋鹏学校训练全班学生说话的设备，该设备具有适宜聋鹏人的特殊立体声集成音响系统，采用三种机电传感器。中国专利技术专利申请号为91109902. 6，公开号为CN1071595，为"聋儿康复仪"公开了一种用电子学方法使产生的500-800GS磁场作用于耳周穴位。这种磁场应在某种音乐旋律调制下成为有节奏变化的磁场。特征是将音乐调制的磁场做在头环的耳机上，并使磁场紧靠耳周穴位，用途是治疗各种原因造成的小儿感音区性耳聋。中国技术专利申请号为99113117. 7，公开号为1280862，为"聋儿双项速成康复法"公开了一种涉及聋儿听力、语言康复的新方法，借助理疗、磁疗等方法提高听神经细胞活力，激发听神经潜能，促进听神经细胞的再生，从而提高听觉能力，然后结合辅助功能训练，采用多种形式、多种方式，适用于专利技术相配套的自编教材，对聋儿进行系统的科学的听力、语音、语言程序训练，使其在短时间内开口说话。但上述方法使用单纯的录音、指认图片，时间长了他们会感到厌烦，学习兴趣大幅度降低，很多孩子还拒绝这种训练。中国技术专利申请号为902144413，公开号为2071362，为"聋哑人语言教学机"公开了一种适用于聋哑人用的语言教学机，其内部电路中加接有选择开关、滤波选通电路以及音量平衡电位器，聋哑人根据两耳残余听力可以选择不同的频率响应以及音量，达到最佳的听力以及听觉与视觉的统一，从而改变了单靠手势的聋儿语言教学法 上述各种涉及聋儿听力、语言康复的方法和教学机，对聋儿语音开发具有一定作用，但均有各自的缺点和应用的局限性，这些问题需要进一步加以改进。
技术实现思路
本专利技术的目的是为了克服目前聋儿语言康复方法及康复系统单调枯燥以及无反馈诊断过程的不足，将三维建模与可视语音技术相结合，建立基于参数驱动的三维唇动模型及适合聋儿康复的三维汉语辅助发音可视语音库，并在建立三维会话头像的基础上，结合语音识别和图像识别技术对聋儿发音进行校正，以达到帮助聋儿恢复汉语发音功能的目的，特别是辅助3-7岁聋儿学习汉语发音，以便他们能够进入正常学校读书。 为了实现本专利技术的目的，本专利技术采用以下技术方案一种基于三维头像的聋儿语言康复方法，使聋儿在汉语发音学习中通过视觉直观看到显示屏幕上的三维人体头像模拟发音过程，通过半透明的头像可以看到内部发音器官发音过程的动作序列，一边模仿一边练习，具体内容包括 a.通过显示屏幕向聋儿播放某一汉语文字、词、短语、简单句子的可视化三维头像发音过程，同时播放该信息的语音，该发音过程是经过参数驱动三维头像的各个发音器官完成的，接下来进行步骤b ; b.聋儿根据屏幕显示的发音过程进行发音练习，同时系统收集聋儿练习过程的音频和视频资料，通过"唇读技术"视频分析和"语音识别技术"音频分析，给聋儿发音进行评分优秀、合格、不合格，若合格进入步骤C，若优秀进入步骤d，若不合格进入步骤e ; c.鼓励学生继续进行练习，争取达到优秀标准，若聋儿选择继续练习则返回到刚刚训练的内容，同时系统进入步骤b，若不想继续学习此内容则可选择进入下一训练环节，同时系统进入步骤b，或者进入步骤f ; d.给予聋儿一定奖励，好看的图片或是动画，激励聋儿继续努力学习，若想继续学习可选择进入下一训练环节，同时系统进入步骤b，或者进入步骤f ; e.给予聋儿一定鼓励，同时重新播放正确的三维头像发音过程，通过视频分析，提示其在刚刚发音过程中的错误之处，并系统进入步骤b ; f.退出系统。 —种实现上述方法的基于三维头像的聋儿语言康复系统，包括数据处理装置、数据输入装置、数据输出装置，以及视音频接收处理装置，具体包括如下信息 —个三维头像模型库，由若干三维头像模型组成，每一模型都具有特定聋儿的头部形态，并且每一头像的发音器官设置多个参数点； —个汉语可视语音参数库，用以驱动三维头像模型的参数，每一参数对应一个汉语单元(音、字、词、句子等)； —个语训库，按照聋儿发音康复不同阶段分为高级、中级、初级三个等级，分别装载各自不同级别的发音单元； —个受训者资料库，记录受训者学习情况，并对受训者所学发音过程进行统计评估，通过评估认定受训者应该在哪个语训等级中； —个图形显示模块，根据系统输入需要显示的相应语训等级中的汉语单元，从参数库中调取参数驱动头像模型，进入可视化三维头像发音过程； —个视频音频接收模块，接收聋儿发音过程的视音频文件； —个判断模块，通过语音识别和唇读识别技术判断聋儿发音的级别优秀或合格或不合格； —个反馈模块，根据判断模块的结果提取上述记录的聋儿发音过程文件，或者提示聋儿如何正确发音，或者播放正确的发音过程；4 其中数据处理装置包括图形处理卡和声音处理卡。数据输入装置包括视频采集装置和音频采集装置，如摄像头和麦克。数据输出装置为显示设备，如LCD显示器。以及视音频接收处理装置，具体包括如下信息音频数据库采集装置，音频数据库处理装置，视频数据库采集装置，视频数据处理装置，综合数据处理装置，数据输出显示反馈装置。 本专利技术的有益效果是，所述聋儿语言康复方法及其系统应用逼真的三维动画效果可以充分指导聋儿多个发音器官进行发音训练，让聋儿循序渐进的从音、字到词、句进行发音练习，通过奖励和鼓励措施调动聋儿训练的兴趣，三维头像角度的不断变换可以使聋儿从各个方向了解发音器官发音时的动作序列，能够縮短聋儿发音训练所需时间，提高发音训练的效率。本专利技术采用视音频双模反馈对聋儿发音训练进行评估，针对每一个聋儿各自特点记录聋儿训练过程和训练效果，统计出聋儿发音学习的快慢程度，因材施教，提供个性化的训练方案。附图说明 图1为聋儿语言发音康复方法程序流程框图。 图2为聋儿语言发音康复系统装置构成示意图。 图3为聋儿语言发音康复系统视音频接收处理装置流程示意图。具体实施例方式如附图1所示，一种基于三维头像的聋儿语言康复方法，旨在使聋儿在汉语发音学习中通过视觉直观看到显示屏幕上的三维会话头像模拟发音过程，通过半透明的头像可以看到内部发音器官发音过程的动作序列，一边模仿一边练习，如图示的操作步骤进行操作进入用户相应等级语训模块1，显示一组指定的发音训练单元2，用户点击某一特定语训单元3，半透明三维头像模本文档来自技高网...

【技术保护点】
一种基于三维头像的聋儿语言康复方法，其特征在于：使聋儿在汉语发音学习中通过视觉直观看到显示屏幕上的三维会话头像模拟发音过程，通过半透明的头像可以看到内部发音器官发音过程的动作序列，一边模仿一边练习，具体方法是：ａ．通过显示屏幕向聋儿播放某一汉语文字、词、短语、简单句子的可视化三维头像发音过程，同时播放该信息的语音，该发音过程是经过参数驱动３Ｄ头像的各个发音器官完成的，接下来进行步骤ｂ；ｂ．聋儿根据屏幕显示的发音过程进行发音练习，同时系统收集聋儿练习过程的音频和视频资料，通过视频分析（唇读技术）和音频分析（语音识别技术）给聋儿发音进行评分：优秀、合格、不合格，若合格进入步骤ｃ，若优秀进入步骤ｄ，若不合格进入步骤ｅ；ｃ．鼓励学生继续进行练习，争取达到优秀标准，若聋儿选择继续练习则返回到刚刚训练的内容，同时系统进入步骤ｂ，若不想继续学习此内容则可选择进入下一训练环节，同时系统进入步骤ｂ，或者进入步骤ｆ；ｄ．给予聋儿一定奖励，好看的图片或是动画，激励聋儿继续努力学习，若想继续学习可选择进入下一训练环节，同时系统进入步骤ｂ，或者进入步骤ｆ；ｅ．给予聋儿一定鼓励，同时重新播放正确的三维头像发音过程，通过视频分析，提示其在刚刚发音过程中的错误之处，并系统进入步骤ｂ；ｆ．退出系统。...

【技术特征摘要】

【专利技术属性】
技术研发人员：赵剑，王丽荣，张超，邹稷，史丽娟，吴佳楠，
申请(专利权)人：长春大学，
类型：发明
国别省市：82[中国|长春]