提高孤独症儿童社会互动能力的人机互动多模态早期干预系统技术方案

一种提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统。该系统包括一台多点触摸屏，一台计算机和三台分别安装在触摸屏左边、右边以及中上方的摄像头，摄像头带麦克风通过USB接口与计算机相连，系统设有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，其融合计算机视觉，语音识别，行为识别，智能体和虚拟现实技术来支持提高孤独症儿童的社会互动能力。通过半年时间跟踪数名儿童在此学习环境中的发展变化，其中多数儿童的社会互动能力有了明显提高，另外儿童的互动能力也有一定地进步。

【技术实现步骤摘要】

本专利技术涉及一种计算机科学、认知科学和教育学的人机互动多模态智能学习系统，尤其涉及提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统。
技术介绍
儿童孤独症又称自闭症，是发生于儿童早期的一种由于神经系统失调导致的发育障碍，其病征包括不正常的社交能力、沟通能力、兴趣和行为模式。虽然孤独症发现于1943 年，但是对孤独症的研究与治疗直到20世纪80年代才得到真正重视，长期以来，儿童孤独症病因仍然是个谜，很多研究人员怀疑孤独症是由基因控制，再由环境因素触发，目前尚无任何有效药物可以治疗，只能靠长期的教育干预帮助患儿逐渐好转，否则将导致终身残障。 在发达国家，有很多干预训练机构及专业训练人员来帮助孤独症儿童，使他们能恢复到正常儿童的社会交流能力。我国对孤独症儿童的教育干预方法有一定研究，但对孤独症儿童的干预训练机构很少。我国孤独症的发病率以每年10%-17%速度增长。卫生部在2010年 7月正式发布《儿童孤独症诊疗康复指南》，《指南》强调儿童孤独症的最佳治疗时间一般在 6岁之前，其早期的正确诊断和干预治疗非常关键。但到目前为止国内仅有少数几家的民营康复训练学习机构，康复训练人员严重不足，致使许多患儿在最佳康复训练年龄错失了康复训练时机，导致不可逆转的终身残障。社会交流能力是儿童学习的基础，孤独症儿童，由于缺乏社会交流能力，使得学习过程比正常发展的儿童更加困难。最近研究证明了计算机辅助学习对孤独症儿童的有效性，因为孤独症儿童对人与人之间的交流感到不适应，他们更易于接收电子技术设备。计算机可以创造一个安全的，可重复的，可预测控制的训练学习环境更有助于孤独症儿童的学习。研究证明学习者能在多模态互动环境中比在单一模态非互动环境中获得更好的学习效果，并指出多模态互动是学习语言的最好途径。我国目前针对孤独症儿童的多模态人机互动学习研究尚为空白。国外的相关研究主要是采用各种虚拟现实技术辅助孤独症儿童学习，为儿童创造一个安全，可控制的学习环境，尚未建立一套针对提高孤独症儿童社会互动能力的、自适应于不同儿童个体的、多模态人机互动系统。
技术实现思路
本专利技术目的旨在建立多模态融合互动式的智能学习系统来有效干预、提高孤独症儿童的社交能力。此系统专门针对提高孤独症儿童的社会互动能力设计学习目标、建立相应的学习活动；根据在学习过程观察到的儿童的行为，认知和心理状态来调整学习活动以满足不同儿童个体的社会认知需求。实现上述目的的技术方案一种提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，包括一台多点触摸屏，3个带麦克风的摄像头，计算机，3个摄像头分别安装在多点触摸屏的左边、右边以及中上方并通过USB接口与计算机相连(见图1)，系统设置有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，摄像头将获取的儿童的视频及音频信号传输给计算机，计算机通过视觉信号处理来检测儿童的注意力和表情，通过语音信号处理辨别儿童的声音，触摸屏捕捉儿童的动作，多模态信息融合模块把检测到的儿童的注意力、表情、声音和手势动作信号融合产生儿童的学习状态，然后反馈给智能控制台，智能控制台根据设计的学习活动内容产生儿童与虚拟动画人物之间基于游戏的互动，真实场景模拟根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景和输出各种声音(见图2)。视觉信号处理包括表情识别，视线跟踪和头部姿态估计；语音信号处理解决的关键问题是针对儿童的语音识别；物理交互界面通过触摸屏识别儿童在虚拟环境中触摸的准确位置；多模态融合处理和合成检测到的儿童的注意力、表情、声音和手势动作信号然后创建儿童学习状态；智能控制台根据学习活动内容产生儿童与虚拟动画人物之间基于游戏的互动；真实场景模拟采用三维动画和语音合成技术模仿真实社会场景，其负责根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景。在此系统中，使用者通过前端模块(视觉、语音处理及物理交互界面)直接与学习环境互动，后端模块(多模态融合、智能控制台及真实场景模拟)根据使用者的行为产生相应的互动虚拟场景。这个学习环境模拟真实世界，使用者可以通过说，看，指或触摸来表达对事物的兴趣。按上述方案，所述的第1摄像头0-1)和第3摄像头0-3)选用Logitech Quickcam摄像头，第2摄像头(2-2)选用Mironu ^febcam摄像头。按上述方案，所述的触摸屏(1)尺寸为42英寸。按上述方案，所述的视觉信号处理模块，采用C++编程语言实现基于特征点方法的儿童注意力检测，以及基于稀疏表示表情识别方法的儿童心理状态估计。按上述方案，所述的语音信号处理模块，分析儿童语音信号中的语调频率和共振峰频率参数，采用C++编程语言实现基于隐马尔科夫模型的儿童语音识别算法。按上述方案，所述的物理交互界面，采用基于PQLabs的Java编程语言，检测儿童在虚拟环境中触摸的准确位置。按上述方案，所述的多模态融合模块是基Communications Engine中间件的平台。按上述方案，所述的智能控制台模块是基于FAtiMA结构，采用Java编程语言实现。按上述方案，所述的真实场景模拟模块采用Maya动画技术和SuperCollider声音输出软件工具。本专利技术的有益效果在于第一、让孤独症儿童可以在一个安全的不受限制的自由空间里通过人机互动游戏形式探索不同社交场景和提高社会互动及合作技巧；第二、能够根据不同孤独症儿童的个体学习经验、当前学习状态和需求，通过变换与真实世界相仿的虚拟场景来调整学习活动以达到学习目标，支持包含不同的儿童发展路径；第三、通过实时检测多模态社会信号(包括视觉，听觉及触觉信号)来估计儿童的学习状态，认知状态(例如注意力)，心理状态(例如高兴或悲伤等)和学习行为；第四、采用多模态智能学习环境的方式，融合计算机视觉、语音识别、行为识别、结合儿童发展的心理机能理论、虚拟现实技术来支持提高孤独症儿童的社会互动能力。附图说明图1为人机多模态互动学习环境图中1.多点触摸屏，2-1.第1摄像头，2-2.第2摄像头，2-3.第3摄像头，3.计算机， 4.虚拟场景，5.虚拟动画人物。图2为本专利技术的系统框图具体实施例方式下面结合附图具体说明实施方案。本专利技术的一种提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，包括一台多点触摸屏1，第1摄像头2-1，第2摄像头2-2，第 3摄像头2-3，计算机3，第1摄像头、第3摄像头和第2摄像头分别安装在多点触摸屏的左边、右边以及中上方，3个摄像头带麦克风通过USB接口与计算机相连(见图1)，系统设置有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，摄像头将获取的儿童的视频及音频信号传输给计算机，计算机通过视觉信号处理来检测儿童的注意力和表情，通过语音信号处理辨别儿童的声音，触摸屏捕捉儿童的动作，多模态信息融合模块把检测到的儿童的注意力、表情、声音和手势动作信号融合产生儿童的学习状态，然后反馈给智能控制台，智能控制台根据设计的学习活动内容产生儿童与虚拟动画人物5之间基于游戏的互动，真实场景模拟根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景4和输出各种声音(见图2)。本专利技术的视觉信号处理系统，采本文档来自技高网...

【技术保护点】
１．一种提髙孤独症儿童社会互动能力的人机互动多模态早期干预系统，特征在于：该系统包括一台多点触摸屏（１），第１摄像头（２－１），第２摄像头（２－２），第３摄像头（２－３），计算机（３），第１摄像头、第３摄像头和第２摄像头分别安装在多点触摸屏的左边、右边以及中上方，３个摄像头带麦克风通过ＵＳＢ接口与计算机相连，系统设置有视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块，摄像头将获取的儿童的视频及音频信号传输给计算机，计算机通过视觉信号处理来检测儿童的注意力和表情，通过语音信号处理辨别儿童的声音，触摸屏捕捉儿童的动作，多模态信息融合模块把检测到的儿童的注意力、表情、声音和手势动作信号融合产生儿童的学习状态，然后反馈给智能控制台，智能控制台根据设计的学习活动内容产生儿童与虚拟动画人物（５）之间基于游戏的互动，真实场景模拟根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景（４）和输出各种声音。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈靓影，陈丹，杨宗凯，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：83