基于非社会性声音刺激行为范式的孤独症初级筛查装置制造方法及图纸

本发明专利技术公开一种基于非社会性声音刺激行为范式的孤独症初级筛查装置，包括采集模块：用于吸引儿童注意力的可控制发声物体，控制发声物体发声的遥控器及摄像头，以采集参与实验儿童对非社会性声音刺激及医生指令的行为反应的音视、视频数据；预处理模块：采用语音活动检测处理音频数据，检测发声物体开始发声时间，并以此为起始端点截取视频数十秒后内容作为视频分析数据；特征提取模块：对视频数据逐帧分析处理，获取面部、眼神和手势特征；训练分类模块：利用已获得的特征训练分类器，得到预测ASD的分类器模型；预测模块：采用特征提取模块计算出的面部、眼神以及手势特征对测试者ASD进行评估预测。本发明专利技术适用于ASD行为外表型早期筛查和辅助诊断。

Primary Autism Screening Device Based on Nonsocial Voice Stimulation Behavior Paradigm

The invention discloses a primary autism screening device based on non-social sound stimulation behavior paradigm, which includes acquisition module: a remote controller and a camera used to attract children's attention and control the voice of the voiced object, in order to collect audio-visual and video data of the behavior response of the experimental children to non-social sound stimulation and doctor's instructions; Voice activity detection is used to process audio data, to detect the time when the voiced object begins to produce sound, and to intercept the video content tens of seconds later as the video analysis data as the starting endpoint; feature extraction module: frame-by-frame analysis of video data to obtain facial, eye and gesture features; training classification module: using the acquired features to train classifiers to get the predicted ASD score Classifier model; Prediction module: The facial, eye and gesture features calculated by feature extraction module are used to evaluate and predict the tester's ASD. The invention is suitable for early screening and assistant diagnosis of ASD behavior appearance.

【技术实现步骤摘要】
基于非社会性声音刺激行为范式的孤独症初级筛查装置
本专利技术涉及多媒体音视频处理领域，尤其涉及到一种基于非社会性声音刺激行为范式的孤独症初级筛查装置，基于语音处理，计算机视觉，采集被试观测人的面部，眼神以及手势信息并加以分析，以评估孤独症谱系障碍风险系数的早期筛查装置。
技术介绍
孤独症谱系障碍(autismspectrumdisorder,ASD)，是一种神经发育性疾病。患者的表现包括社交沟通障碍，重复刻板行为，狭隘兴趣等，医护人员需要对每个疑似患者从行为外表型方面进行判断。虽然现有的ASD评估方法非常有效，但却费时费力，对医学素养和临床经验都有较高要求，评估结果具有一定的主观性。现在最广泛应用的测量方法包括孤独症诊断观察量表(AutismDiagnosticObservationSchedule,ADOS)等。这些基于ASD的通用判断指标，可以程序化地对疑似病患进行初步的诊断，而这种程序化就使计算机技术应用于自闭症诊断成为了可能。在评判疑似病患是否患有ASD时，会综合考量受测试者的叫名反应、指物反应、跟随现象等，最后根据医生的治疗经验给出最终结果。在计算机方面，可以在各个项目给受测者打分，然后通过数据科学的方式结合各项得分来预测受测者患ASD的风险系数。在这一过程中选取合适高效的算法，就能够替代医生的经验，让计算机来完成自动化的儿童ASD早期筛查。使用语音处理及计算机视觉技术来辅助医生和家长对疑似ASD儿童进行自动化早期筛查，主要通过摄像头与识别算法分别从面部、目光和手部动作三个方面综合考量儿童在自闭症诊断中指物反应这一环节的表现，进而为最后儿童的确诊提供计算机技术上的支持。但是，儿童离摄像头的距离较大，使得眼睛，手势，甚至是整个受测儿童在视频的画面中占据的面积较小，怎样在这样的数据中提取出较为准确的信息并以此评估患ASD的风险系数，是一个具有挑战性的问题。
技术实现思路
针对上述现有技术存在的问题，本专利技术的目的在于提供一种基于非社会性声音刺激行为范式的孤独症初级筛查装置。本专利技术以评估儿童对非社会性声音刺激及医生的指令作出的行为反应来预测其患有孤独症谱系障碍的风险系数，可用于孤独症早期筛查。为实现上述目的，本专利技术是根据以下技术方案实现的：一种基于非社会性声音刺激行为范式的孤独症初级筛查装置，其特征在于，包括：采集模块：用于吸引儿童注意力的可控制发声物体，控制发声物体发声的遥控器以及摄像头，用以采集参与实验儿童对非社会性声音刺激及医生指令的行为反应的音视、视频数据；预处理模块：采用语音活动检测处理音频数据，检测发声物体开始发声的时间，并以此为起始端点截取视频数十秒后的内容，作为视频分析数据；特征提取模块：对视频数据逐帧分析处理，获取面部、眼神和手势的特征；训练分类模块：利用已获得的特征训练分类器，得到预测ASD的分类器模型；预测模块：采用特征提取模块计算出的面部、眼神以及手势特征对测试者的ASD进行评估预测。上述技术方案中，所述特征提取模块包括正脸检测单元、目光追踪单元、手势检测单元；所述正脸检测单元对已提取的视频数据，检测儿童的正脸，得到面部特征，若儿童看向该发声物体，并被发声物体旁的摄像头检测到正脸，将再针对面部区域生成一个只包含面部的较小窗口，作为后续图像分析数据；所述目光追踪单元对已提取的正脸图像数据，进一步判断目光是否集中在物体上，得到眼神特征；所述手势检测单元对视频数据逐帧分析，定位实验人员位置，剔除背景色彩，对手部进行定位并切分出手部图片数据，对已提取的数据进行训练得到手势分类器模型，在此模型的基础上检测手势指向，得到手势特征。上述技术方案中，所述手势检测单元通过以下步骤完成定位儿童的手在视频每一帧画面中的位置，其包括：步骤S1：使用训练好的基于图像的目标检测与识别算法模型将医生与受测儿童在图像中的位置提取出来获取到医生和受测儿童的位置；步骤S2：根据人的皮肤色彩范围，保留画面中的色彩度处于这个范围的部分，并将范围之外的区域置黑，从而做到将画面按照色彩值过滤，完成背景色彩剔除；步骤S3：使用基于Haar特征的级联分类器进行最终定位，其中级联分类器由若干个弱分类器级联而成，在构建弱分类器时，检测窗口在画面中由左向右、由上至下滑动，每个滑动窗口判断一种特征并计算结果数值，得到结果后与阈值做比较以判断该窗口是否符合此特征并进行分类，当窗口内的图像顺利通过分类器的检验，认为该窗口内就是预期的目标。上述技术方案中，所述训练分类模块使用监督学习分类器对已标记的特征进行训练分类。上述技术方案中，所述预测模块分别采用有监督学习分类器方法和加权相加方法来预测孤独症的风险系数。本专利技术与现有技术相比，具有如下优点：本专利技术提出了基于机器学习的框架，通过采集实验人员的音视频数据，提出了以分析面部，眼神和手势特征以预测ASD的软硬件一体化装置。相比于传统的ADOS评估方法，本专利技术提出的方法有显著的客观性以及不需要有经验的医生的参与。虽然本专利技术提出的装置并不能完全替代传统的ASD诊断方法，但它能被视作一个ASD风险系数评估的辅助装置，使得早期的ASD筛查更加准确与方便。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术基于机器学习的孤独症初级筛查装置的总框架结构图；图2是指物反应的流程示意图；图3是采集场地的布局示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。本专利技术针对传统的ASD诊断方法的人工成本高、诊断周期长且主观性较高，通过量化指物反应中的各项指标，提取测试人的面部，眼神和手势特征，并根据这些特征训练数据，从而评估孤独症谱系障碍的风险系数，从而能够对ASD进行早期筛查，减少人工成本，节省了大量的时间。如图1所示，本专利技术的的基于非社会性声音刺激行为范式的孤独症初级筛查装置，包括：采集模块：用于吸引儿童注意力的可控制发声物体，控制发声物体发声的遥控器以及摄像头，用以采集参与实验儿童对非社会性声音刺激及医生指令的行为反应的音视、视频数据；具体地，实验人员与医护人员位于实验场地中心，在实验人员的非正面但余光可见(斜前方)的位置放置一个摄像头，摄像头正上方悬挂一个可以遥控发声的飞机外形玩具，医护人员可控制玩具发声。摄像头录制实验全过程，作为原始数据。在本实施例中，ASD行为分析数据的实验人员为115个儿童，包括58个确诊为孤独症的儿童和57个正常儿童，这些儿童年龄分布在24～48个月，具有充足的行为反应能力。对于每一个参与实验的儿童，都会经历一次完整的指物反应测试流程，其流程图如图2所示。图3描述了采集场地的布局格式。预处理模块：采用语音活动检测处理音频数据，检测发声物体开始发声的时间，并以此为起始端点截取视频数十秒后的内容，作为视频分析数据；在本实施例中，使用基于能量的语音活动检测(voiceactivitydetection，VA本文档来自技高网...

【技术保护点】
1.一种基于非社会性声音刺激行为范式的孤独症初级筛查装置，其特征在于，包括：采集模块：用于吸引儿童注意力的可控制发声物体，控制发声物体发声的遥控器以及摄像头，用以采集参与实验儿童对非社会性声音刺激及医生指令的行为反应的音视、视频数据；预处理模块：采用语音活动检测处理音频数据，检测发声物体开始发声的时间，并以此为起始端点截取视频数十秒后的内容，作为视频分析数据；特征提取模块：对视频数据逐帧分析处理，获取面部、眼神和手势的特征；训练分类模块：利用已获得的特征训练分类器，得到预测ASD的分类器模型；预测模块：采用特征提取模块计算出的面部、眼神以及手势特征对测试者的ASD进行评估预测。

【技术特征摘要】
1.一种基于非社会性声音刺激行为范式的孤独症初级筛查装置，其特征在于，包括：采集模块：用于吸引儿童注意力的可控制发声物体，控制发声物体发声的遥控器以及摄像头，用以采集参与实验儿童对非社会性声音刺激及医生指令的行为反应的音视、视频数据；预处理模块：采用语音活动检测处理音频数据，检测发声物体开始发声的时间，并以此为起始端点截取视频数十秒后的内容，作为视频分析数据；特征提取模块：对视频数据逐帧分析处理，获取面部、眼神和手势的特征；训练分类模块：利用已获得的特征训练分类器，得到预测ASD的分类器模型；预测模块：采用特征提取模块计算出的面部、眼神以及手势特征对测试者的ASD进行评估预测。2.根据权利要求1所述的基于非社会性声音刺激行为范式的孤独症初级筛查装置，其特征在于，所述特征提取模块包括正脸检测单元、目光追踪单元、手势检测单元；所述正脸检测单元对已提取的视频数据，检测儿童的正脸，得到面部特征，若儿童看向该发声物体，并被发声物体旁的摄像头检测到正脸，将再针对面部区域生成一个只包含面部的较小窗口，作为后续图像分析数据；所述目光追踪单元对已提取的正脸图像数据，进一步判断目光是否集中在物体上，得到眼神特征；所述手势检测单元对视频数据逐帧分析，定位实验人员位置，剔除背景色彩，对手部进行定位并切分出手部图片数据，对已提取的数据...

【专利技术属性】
技术研发人员：李明，邹小兵，
申请(专利权)人：昆山杜克大学，中山大学附属第三医院中山大学肝脏病医院，
类型：发明
国别省市：江苏,32