特定会话场景下的计算机辅助手语交流方法技术

本发明专利技术公开的一种特定会话场景下的计算机辅助手语交流方法，通过建立虚拟人骨骼模型和特定会话场景词汇数据库，设定该骨骼模型各关节的运动自由度范围，并建立虚拟人各关节动作与专用词汇的交流应答对应关系，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，将聋哑人打出的手语转换为文字或语言告知正常人，反之，获得正常人输入的文字信息，或者在获得识别到的聋哑人打出手语的含义之后，自动匹配出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语转换为手语告知聋哑人，实现特定场合下正常人与聋哑人的会话交流。通过本发明专利技术方法可实现特定场合下正常人与聋哑人之间的交流。

【技术实现步骤摘要】

本专利技术属于图像生物特征识别
，涉及一种特定会话场景下的it 算机辅助手语交流方法。
技术介绍
现实生活中，正常人既可以获得视觉信息也可以获得听觉信息，聋哑人 则只能利用视觉信息。正常人与聋哑人通常以手语作为媒介进行交流，但绝 大多数正常人对手语知之甚少，根本无法与聋哑人进行会话，使得正常人与 聋哑人之间存在难以克服的交流障碍
技术实现思路
'本专利技术的目的是提供一种， 用于词汇量有限的特定场景下，辅助正常人与聋哑人进行会话交流。本专利技术所采用的技术方案是，特定会话场景下的计算机辅助手语交流方 法，建立词汇数据库和虚拟人手语动作的对应关系，通过采集聋哑人打出的 手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信 息的含义，并将该含义告知正常人，反之，获得正常人输入的文字信息，或 者在获得的识别到聋哑人打出手语的含义之后，在词汇数据库中自动匹配'出 相应的回答语句，并将该文字信息或回答语句经过处理并通过手语的方式告 知聋哑人，实现特定场合下正常人与聋哑人的会话交流，该方法按以下步骤进行步骤l:在计算机中建立特定会话场景下所用的词汇数据库；步骤2:采用计算机图形学的方法构造三维动画虚拟人，并建立该三维动 画虚拟人的骨骼关节模型；步骤3:构建步骤1建立的词汇数据库中的词汇与步骤2构造的三维动画 虚拟人表征的手语动作之间的对应关系；步骤4:正常人和聋哑人通过步骤2建立的虚拟人和步骤1建立的词汇.数 据库，以步骤3建立的对应关系为基础进行会话交流，聋桠人打出的手语转换为文字或语言的具体步骤1) 、通过摄像头采集聋哑人打出的手语图像信息，并将该手语图像信息 输入计算机；2) 、将步骤l)步中采集到的手语图像信息，通过训练获得无目标背景， 采用背景差分法，检测出该背景中包括手部区域在内的运动目标，并通过手 部区别于其它部位的颜色和形态，分割出手部区域，采用数字视频关键帧.提 取方法，提取该手部区域的关键帧，然后，通过提取不同手势的特征差异， 识别出该关键帧中的静态手势；3) 、将步骤2)中识别出的静态手势序列构成动态手势，并采用包括隐马 尔科夫模型的随机过程描述法或神经元网络法结合模式识别法对该动态手势 予以识别，获得动态手势所包含的含义；4) 、将步骤3)中识别出的动态手势的含义转换为正常人能够理辆的文字 或语言； .将正常人输入的文字转换为手语部分的具体步骤如下-a)、通过文字输入装置输入文字信息，或者在获得识别到的聋哑人手语的 含义之后，在专用词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句传入计算机；b) 、将步骤a)步中获得的信息进行处理，形成步骤1建立的词汇数据库 中的专用词汇，将该专用词汇通过步骤3构建的对应关系形成相应的手语动 作；c) 、将步骤b)步中形成的手语动作通过步骤2构造的三维动画虚拟人予 以显示。本专利技术的特征还在于，其中步骤2)中关键帧的提取采用等间隔关键帧提取法，该提取法中间隔 L通过以下公式计算得到丄_ Wdea/Vww (11)式中，VideoNum为视频的总帧数，CodeNum为码字数。其中，步骤2)中采用基于多级弦长函数的实现对不同静态手势的识别。其中，傅立叶描述子方法中计算一个手形的傅立叶描述子的公式如下"'(")=H A ") 6邓(^^)，" = 。，1,…，^ —1 (1 一2 )式中，丄,(x,)表示第i级弦长函数，分8个级别的弦长函数；N表示函数采样点个数，令N-8。本专利技术方法的有益效果是，通过信息采集、处理和构建的三维动画虚拟人，将正常人的语言或文字转换为手语，或者将聋桠人的手语转换为语言或文字，用于特定场合下，正常人与聋哑人之间的交流。 '附图说明图1是本专利技术方法建立的虚拟人骨骼关节模型；具体实施例方式下面结合附图和具体实施方式对本专利技术进行详细说明。人们交流时所用的语言非常丰富，若想通过辅助的方法将正常人所说的 话语与聋哑人所作的手语完全正确翻译，并进行交流，存在着包括语义分析 等许多必须正确翻译的问题，目前尚无较好的方法。然而，对于某些特定的 公共服务行业，如银行、邮局、医院、超市等场合的会话内容，其词汇量有 限，可以通过本专利技术方法迸行翻译交流，该方法用于特定场合，包括两部分， 一部分是将聋桠人打出的手语转换为文字或语言，通过采集聋哑人打出的手 语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息 的含义，并将该含义告知正常人。另一部分是将正常人要表达的语言或文字 转换为手语，即正常人输入文字信息，或者在获得识别到聋哑人打出手语的 含义之后，计算机系统在专用词汇数据库中自动匹配出相应的回答语句，并 将该文字信息或回答语句经过处理并通过手语的方式告知聋哑人，实现特定 场合下正常人与聋哑人的会话交流。下面以一个具体的实例来说明本专利技术'的 方法步骤1:在计算机中建立特定会话场景下所用的专用词汇数据库；本专利技术方法用于特定会话场景下辅助正常人与聋观人的交流，需在计算 机中建立该特定会话场景下所用的专用词汇数据库，该专用词汇数据库分不 同会话场景存储有一定数量的专用词汇。步骤2:采用计算机图形学的方法构造一个三维动画虚拟人，并建立该三 维动画虚拟人的骨骼关节模型； '构建虚拟人，使正常人通过该虚拟人与聋哑人进行一定词汇量的会话。虚拟人的构建采用以人体的骨骼关节结构建立的数学模型来实现其相应的'手 语动作。参考人体骨骼关节结构构建虚拟人，并以关节链的方式将该虚拟人 的骨骼连接成一个整体，同时设置虚拟人骨骼关节的数量和各关节的自由度。 建立虚拟人骨骼关节模型，是为了使虚拟人的动作能够转换成不同关节的联 合旋转动作，能够反映人体手臂部分的绝大部分动作，不影响手语的表达。 根据人体运动学的特点，本专利技术方法建立的虚拟人骨骼关节模型，如图1所示。该骨骼关节模型建立了 43个关节，设置了 47个自由度，并对各关节自 由度的运动范围进行限制，建立表1所示的虚拟人模型各关节自由度的运'动 调整参数范围。由于哑语的表达主要集中在上肢，本专利技术方法在虚拟人模型 的左右手臂各设置了23个自由度，用来实现各种手语动作；在虚拟人模型中 心设置了一个自由度，用来控制模型的远近，方便使用者观察。表1 虚拟人模型各关节自由度的运动调整参数范围<table>table see original document page 9</column></row><table><table>table see original document page 10</column></row><table>备注以上各关节运动范围是根据手臂运动所确定的近似值，其中 空白格表示无此方向的运动。表中的掌指关节运动范围为不受其它 手指约束的情况下得到的。构造的虚拟人可以采用三维动画，使其具有一定的卡通性和亲和力，卡通性是为了在表现手语时，能够夸张手臂部动作，而不会觉得失真；亲和力 是为了在交流过程中，能够比较容易被对方接受。同时，虚拟人的手臂部细 节为主要描述对象，目的是能够完成较为复杂动作的手语。步骤3:构建步骤1建立的专用词汇数据库中的词汇与步骤2构造的三维 动画虚拟人表征本文档来自技高网...

【技术保护点】
一种特定会话场景下的计算机辅助手语交流方法，建立词汇数据库和虚拟人手语动作的对应关系，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，并将该含义告知正常人，反之，获得正常人输入的文字信息，或者在获得的识别到聋哑人打出手语的含义之后，在词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语的方式告知聋哑人，实现特定场合下正常人与聋哑人的会话交流，其特征在于，该方法按以下步骤进行：　步骤１：在计算机中 建立特定会话场景下所用的词汇数据库；　步骤２：采用计算机图形学的方法构造三维动画虚拟人，并建立该三维动画虚拟人的骨骼关节模型；　步骤３：构建步骤１建立的词汇数据库中的词汇与步骤２构造的三维动画虚拟人表征的手语动作之间的对应关系； 　步骤４：正常人和聋哑人通过步骤２建立的虚拟人和步骤１建立的词汇数据库，以步骤３建立的对应关系为基础进行会话交流，　聋哑人打出的手语转换为文字或语言的具体步骤：　１）、通过摄像头采集聋哑人打出的手语图像信息，并将该手语图像 信息输入计算机；　２）、将步骤１）步中采集到的手语图像信息，通过训练获得无目标背景，采用背景差分法，检测出该背景中包括手部区域在内的运动目标，并通过手部区别于其它部位的颜色和形态，分割出手部区域，采用数字视频关键帧提取方法，提取该手部 区域的关键帧，然后，通过提取不同手势的特征差异，识别出该关键帧中的静态手势；　３）、将步骤２）中识别出的静态手势序列构成动态手势，并采用包括隐马尔科夫模型的随机过程描述法或神经元网络法结合模式识别法对该动态手势予以识别，获得动态手势所 包含的含义；　４）、将步骤３）中识别出的动态手势的含义转换为正常人能够理解的文字或语言；　将正常人输入的文字转换为手语部分的具体步骤如下：　ａ）、通过文字输入装置输入文字信息，或者在获得识别到的聋哑人手语的含义之后，在专用 词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句传入计算机；　ｂ）、将步骤ａ）步中获得的信息进行处理，形成步骤１建立的词汇数据库中的专用词汇，将该专用词汇通过步骤３构建的对应关系形成相应的手语动作；　ｃ）、将步骤ｂ ）步中形成的手语动作通过步骤２构造的三维动画虚拟人予以显示。...

【技术特征摘要】

【专利技术属性】
技术研发人员：朱虹，韩永朋，张嘉蕾，赵朝杰，许洁，姚杰，吴锐杰，金欢，曹建斌，孙国清，李丽贤，王栋，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：87[中国|西安]