基于虚拟现实及多模态信息的孤独症辅助干预系统及方法技术方案

本发明专利技术公开了一种基于虚拟现实及多模态信息的孤独症辅助干预系统及方法，该系统包括：场景定制模块、真实形象采集模块、真实形象融入模块、行为数据采集模块、行为特征提取模块、训练模块、预测模块、交互模块、课程评价模块。本发明专利技术使用虚拟现实设备提供孤独症辅助干预教学，使得干预学习在不同场合普及；使用定制化场景及人物形象进行教学，将干预课程学习场景迁移到真实生活，加强干预效果；使用图像融入技术，将真实人和物的图像形象融入到定制化场景中，使教程对用户更亲切；使用声音融入技术将真实人和物的声音形象融入到定制化场景中，使人和物形象更立体；采集多种用户行为数据进行分析，全面及时获取用户行为特征，有利于获得教学反馈。

Assisted intervention system and method of autism based on virtual reality and multimodal information

【技术实现步骤摘要】
基于虚拟现实及多模态信息的孤独症辅助干预系统及方法
本专利技术涉及孤独症救治领域，尤其涉及到一种基于虚拟现实及多模态信息的孤独症辅助干预系统及方案，本专利技术将真人的图像和声音形象融入定制化虚拟现实场景，使用可穿戴虚拟现实硬件输出场景并采集用户行为数据，实现强交互性孤独症辅助干预效果。
技术介绍
孤独症，全称孤独症谱系障碍(autismspectrumdisorder,ASD)，又称自闭症，是广泛性发育障碍(pervasivedevelopmentaldisorder，PDD)的代表性疾病。患有孤独症的人群，会在理解能力、沟通能力、社交能力和兴趣等方面具有不正常表现。中国现在有超过200万儿童患有孤独症。研究表明，儿童进行孤独症干预的黄金时期是1-6岁。如何及时对孤独症患者进行干预治疗，是一个需要得到广泛关注的社会问题。目前，孤独症疗法包括：游戏疗法、语言联系、增强物的应用、职业治疗等方法。邹小兵教授提出了能够有效进行孤独症干预的结构化社交行为干预模式(BSR模式)。然而，由于干预治疗对治疗师的专业性和标准要求高，使得专业治疗难以普及。随着计算机科学和人工智能领域的发展，使用便携设备推广孤独症干预方法已称为很多科研人员研究的目标。其中，使用虚拟现实设备辅助干预的治疗方案，已经取得了一定的研究进展，能够提供用户不限医院、学校和家庭不同场所的干预方案。目前有方案提出使用虚拟现实技术结合分析心率数据和手臂活动量数据等生物信号，来体现分析用户对感知程度，用过手柄进进行选项选择来评价用户的训练效果。然而，普通非定制化的通用虚拟现实场景，仍然容易让孤独症孤独症患者产生虚拟的感觉，不利于学习场景到真实生活场景的迁移。并且，心率等生物信号的测量需要儿童佩戴更多的仪器，使用不便，且生物信号的直接可读性可解释性并不强。通过手柄做回答的评价判断，仅停留在条件判断的分析级别，遗漏了用户其他的多模态行为及互动信息，交互性差。如果能够研发一种虚拟现实系统，个性化定制真实场景和真实人物，增加孤独症患者接受度，并直接解释孤独症患者活动的行为信号，根据用户多模态行为信号分析训练效果程度及时提供不同强度的加强教学，更有利于增强干预系统的交互性，更有利于增强辅助干预的效果。
技术实现思路
针对上述技术问题，本专利技术的目的在于提供一种基于虚拟现实及多模态信息的孤独症辅助干预系统及方法，本专利技术干预场景融入真实人和物的图像形象和声音形象，不限制参与人员使用可穿戴设备的场所，实时采集并分析具有解释性的用户多模态行为信号，通过声音、图像、光学信号多模态多类别多强度级别实现强交互教学训练，并结合用户表现提供教学建议，从而增加辅助干预教学的可迁移性和延展性，更个性化教学，更有利于增强辅助干预的疗效。为实现上述目的，本专利技术是根据以下技术方案实现的：本专利技术提供了一种基于虚拟现实及多模态信息的孤独症辅助干预系统，包括：教程定制模块，用于制作输出声音信息、图像信息的虚拟现实场景及教学内容；档案模块，用于根据病历或评测结果初始化建立用户个人档案和训练计划，记录用户训练数据，训练计划可由人为修改系统生成的结果；真实形象采集模块，用于采集被融入人或者物的的声音和图像资料；真实形象融入模块，用于学习所述真实形象采集模块所采集的被融入人或者物的的声音和图像形象，将被融入人或者物的声音和图像特征进行提取，将所提取的声音和图像特征与教程定制模块所制作的虚拟现实场景进行融合，得到具有被融入人或者物的声音和图像形象的虚拟现实被融入人或者物形象，虚拟现实被融入人形象能够使用原被融入人的音色进行说话、使用原被融入人的图像形象做出不同的神态、表情、动作，虚拟现实被融入物形象发出原被融入物的声音、展现原被融入物的等比立体图像；行为数据采集模块，用于采集干预试验过程中用户的多模态行为数据；行为特征提取模块，用于提取行为数据采集模块所采集的试验多模态行为数据中的用户脸部朝向、眼神、手势、位置、情感、语言的行为特征；训练模块，用于通过机器学习算法对所述行为特征提取模块所提取的行为特征的数据进行训练，获取与场景符合的评价模型；预测模块，用于通过所述训练模块所得训练好的评价模型对用户的行为特征进行分析，从而获得用户表现描述；交互模块，用于根据所述预测模块所得用户表现描述进行信息交流，并通过场景中输出声音信息、图像信息和光学信息，直接提醒暗示或提醒用户进行正确的行为回应；课程评价模块,用于根据干预试验全程用户课程表现、课程学习进度，对用户学习进行总体评价，提出相关建议。优选地，所述教程定制模块通过参考结构化社交行为干预模式、行为疗法、关键反应训练、言语行为、关系发展干预、早期丹佛模式、结构化教育、地板时间进行教程定制。优选地，所述真实形象采集模块包括：声音采集单元，用于采集人说话语音数据以及动物或其他物品配合干预课程场景的声音；图像采集单元，用于采集用户的多角度平面或深度图像数据，以获得用户的二维或三维模型图像形象。优选地，所述真实形象融入模块将真实生活中的人或物的形象融入定制化场景的课程中，实现真人融入头、脸、声音，真物融入等比例图像、声音的效果，使被融入的人和物形象更立体，具体包括：特定人语音合成单元，用于根据提供的音频数据提取音色的声音信息，利用多说话人语音合成技术合成融入虚拟现实场景的人物语音；图像合成单元，根据提供的人物数据提取头部和动作的图像信息，合成融入虚拟现实场景的人物活动图像；根据提供的物品数据提取形状和尺寸的图像信息，合成融入虚拟现实场景的可移动旋转物品图像。优选地，所述行为数据采集模块使用内置眼动仪、传感器、陀螺仪、麦克风、腔内摄像头、腔外摄像头、手柄、手套的虚拟现实设备采集数据，使用传感器以及陀螺仪获得头部和身体的朝向和移动数据，使用内置眼动仪获得眼睛运动数据，使用腔内摄像头获得眼周肌肉与皮肤的运动数据，使用麦克风获得语音数据，使用腔外摄像头拍摄下半张脸获得下巴及两颊的肌肉运动数据，使用手柄获得手部运动数据及课程学习操作数据。优选地，所述行为特征提取模块包括：头部朝向提取单元，使用自带的传感器或陀螺仪根据物体的x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度，计算头部的运动；脸部表情提取单元，使用VR头盔腔内摄像头和腔外摄像头分别获取到的用户的左右双眼部分的数据和嘴部的数据进行联合，计算联合表情特征分类向量；目光焦点提取单元，使用眼动仪对眼球运动进行追踪的数据，计算眼动的方向和焦点；手部运动提取单元，使用手柄或手套、传感器、按钮获得的数据，获得用户对场景提问做出的选项，计算用户在场景中配合进行的动方式和幅度；语音特征提取单元，使用麦克风获得的用户说话数据，语音识别获得用户说话的语音内容，提取并分析用语的关键词和理解释义，情感识别获得用户互动语言的情感分数；相对位置提取单元，使用VR头盔传感器获得用户个体移动的加速度，计算用户移动的轨迹。优选地，所述本文档来自技高网...

【技术保护点】
1.一种基于虚拟现实及多模态信息的孤独症辅助干预系统，其特征在于，包括：/n教程定制模块，用于制作输出声音信息、图像信息的虚拟现实场景及教学内容；/n档案模块，用于根据病历或评测结果初始化建立用户个人档案和训练计划，记录用户训练数据，训练计划可由人为修改系统生成的结果；/n真实形象采集模块，用于采集被融入人或者物的的声音和图像资料；/n真实形象融入模块，用于学习所述真实形象采集模块所采集的被融入人或者物的的声音和图像形象，将被融入人或者物的声音和图像特征进行提取，将所提取的声音和图像特征与教程定制模块所制作的虚拟现实场景进行融合，得到具有被融入人或者物的声音和图像形象的虚拟现实被融入人或者物形象，虚拟现实被融入人形象能够使用原被融入人的音色进行说话、使用原被融入人的图像形象做出不同的神态、表情、动作，虚拟现实被融入物形象发出原被融入物的声音、展现原被融入物的等比立体图像；/n行为数据采集模块，用于采集干预试验过程中用户的多模态行为数据；/n行为特征提取模块，用于提取行为数据采集模块所采集的试验多模态行为数据中的用户脸部朝向、眼神、手势、位置、情感、语言的行为特征；/n训练模块，用于通过机器学习算法对所述行为特征提取模块所提取的行为特征的数据进行训练，获取与场景符合的评价模型；/n预测模块，用于通过所述训练模块所得训练好的评价模型对用户的行为特征进行分析，从而获得用户表现描述；/n交互模块，用于根据所述预测模块所得用户表现描述进行信息交流，并通过场景中输出声音信息、图像信息和光学信息，直接提醒暗示或提醒用户进行正确的行为回应；/n课程评价模块,用于根据干预试验全程用户课程表现、课程学习进度，对用户学习进行总体评价，提出相关建议。/n...

【技术特征摘要】
1.一种基于虚拟现实及多模态信息的孤独症辅助干预系统，其特征在于，包括：
教程定制模块，用于制作输出声音信息、图像信息的虚拟现实场景及教学内容；
档案模块，用于根据病历或评测结果初始化建立用户个人档案和训练计划，记录用户训练数据，训练计划可由人为修改系统生成的结果；
真实形象采集模块，用于采集被融入人或者物的的声音和图像资料；
真实形象融入模块，用于学习所述真实形象采集模块所采集的被融入人或者物的的声音和图像形象，将被融入人或者物的声音和图像特征进行提取，将所提取的声音和图像特征与教程定制模块所制作的虚拟现实场景进行融合，得到具有被融入人或者物的声音和图像形象的虚拟现实被融入人或者物形象，虚拟现实被融入人形象能够使用原被融入人的音色进行说话、使用原被融入人的图像形象做出不同的神态、表情、动作，虚拟现实被融入物形象发出原被融入物的声音、展现原被融入物的等比立体图像；
行为数据采集模块，用于采集干预试验过程中用户的多模态行为数据；
行为特征提取模块，用于提取行为数据采集模块所采集的试验多模态行为数据中的用户脸部朝向、眼神、手势、位置、情感、语言的行为特征；
训练模块，用于通过机器学习算法对所述行为特征提取模块所提取的行为特征的数据进行训练，获取与场景符合的评价模型；
预测模块，用于通过所述训练模块所得训练好的评价模型对用户的行为特征进行分析，从而获得用户表现描述；
交互模块，用于根据所述预测模块所得用户表现描述进行信息交流，并通过场景中输出声音信息、图像信息和光学信息，直接提醒暗示或提醒用户进行正确的行为回应；
课程评价模块,用于根据干预试验全程用户课程表现、课程学习进度，对用户学习进行总体评价，提出相关建议。


2.根据权利要求1所述的的孤独症辅助干预系统，其特征在于，所述教程定制模块通过参考结构化社交行为干预模式、行为疗法、关键反应训练、言语行为训练法、关系发展干预疗法、早期丹佛模式、结构化教学法、地板时间疗法进行教程定制。


3.根据权利要求1所述的孤独症辅助干预系统，其特征在于，所述真实形象采集模块包括：
声音采集单元，用于采集人说话语音数据以及动物或其他物品配合干预课程场景的声音；
图像采集单元，用于采集用户的多角度平面或深度图像数据，以获得用户的二维或三维模型图像形象。


4.根据权利要求1所述的孤独症辅助干预系统，其特征在于，所述真实形象融入模块将真实生活中的人或物的形象融入定制化场景的课程中，实现真人融入头、脸、声音，真物融入等比例图像、声音的效果，使被融入的人和物形象更立体，具体包括：
特定人语音合成单元，用于根据提供的音频数据提取音色的声音信息，利用多说话人语音合成技术合成融入虚拟现实场景的人物语音；
图像合成单元，根据提供的人物数据提取头部和动作的图像信息，合成融入虚拟现实场景的人物活动图像；根据提供的物品数据提取形状和尺寸的图像信息，合成融入虚拟现实场景的可移动旋转物品图像。


5.根据权利要求1所述的孤独症辅助干预系统，其特征在于，所述行为数据采集模块使用内置眼动仪、传感器、陀螺仪、麦克风、腔内摄像头、腔外摄像头、手柄、手套的虚拟现实设备采集数据，
使用传感器以及陀螺仪获得头部和身体的朝向和移动数据，使用内置眼动仪获得眼睛运动数据，使用腔内摄像头获...

【专利技术属性】
技术研发人员：李明，潘悦然，蔡昆京，程铭，
申请(专利权)人：昆山杜克大学，
类型：发明
国别省市：江苏;32