本发明专利技术公开一种基于眼动反馈的情绪识别能力自适应训练方法及其装置。方法包括：获取本轮训练的视觉刺激材料，包括至少两种不同情绪类型的虚拟人物表情动画；按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；实时获取被训练的眼动轨迹数据以及获取对每种情绪类型的虚拟人物表情动画的判别结果；根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判别结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；根据每种情绪类型的相似度调整情绪类型的虚拟人物表情动画的表情强度参数，用作下一轮训练的视觉刺激材料，以自适应地调整视觉刺激材料的强度。地调整视觉刺激材料的强度。地调整视觉刺激材料的强度。
【技术实现步骤摘要】
基于眼动反馈的情绪识别能力自适应训练方法及其装置
[0001]本专利技术属于计算机图形
，具体地讲，涉及一种基于眼动反馈的情绪识别能力自适应训练方法及装置、计算机可读存储介质、计算机设备。
技术介绍
[0002]自闭症谱系障碍(autism spectrum disorder，ASD)，是一类以不同程度的社会交流和互动缺陷，以及刻板行为、狭隘兴趣为主要特征的神经发育障碍性疾病，这些症状在儿童早期出现，并限制或损害了日常功能，由于孤独症谱系障碍具有高致残率，58％—78％患有自闭症的成人在生活自理、教育、就业和同伴关系等方面都存在不同程度的困难。难以理解别人的情绪被认为是自闭症患者的核心特征，也被认为是社会交流互动障碍的最重要原因。有研究表明，自闭症儿童在照片、卡通和视频剪辑中识别面部表情的能力上，比正常发育的儿童更不准确，这是因为自闭症儿童在与人对话的场景中，并不能很好的集中注意力于对话方产生面部表情的关键区域上，由此影响了自闭症儿童对情绪的识别。
[0003]针对自闭症患者存在情感识别能力障碍的问题，相关领域学者在理论研究和康复手段方面做了一系列探索。但在训练使用的刺激材料方面，现有技术的刺激材料在表情动作方面没有强关联性，并且无法根据自闭症患者的训练情况进行自适应变化，例如仅仅使用固定的真人的图片、视频或者某些真实场景直接对自闭症患者进行情感识别能力训练，然而患者很难从这些刺激材料中获得对表情动作的基础认识，无法增强患者的情绪感知元学习能力。
技术实现思路
[0004](一)本专利技术所要解决的技术问题
[0005]本专利技术解决的技术问题是：如何在训练过程中根据被训练对象的训练情况的自适应选择相应强度的视觉刺激材料，以增强被训练对象的情绪感知元学习能力。
[0006](二)本专利技术所采用的技术方案
[0007]一种基于眼动反馈的情绪识别能力自适应训练方法，所述方法包括：
[0008]获取本轮训练的视觉刺激材料，所述视觉刺激材料包括至少两种不同情绪类型的虚拟人物表情动画；
[0009]按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，且在每种情绪类型的虚拟人物表情动画展示完成时，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；
[0010]实时获取被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据以及获取被训练对象对每种情绪类型的虚拟人物表情动画的判别结果；
[0011]根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判别结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；
[0012]根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度
参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料，重复上述步骤，直至满足训练完成条件。
[0013]优选地，所述判断结果包括正确判别结果和/或错误判别结果，当存在错误判别结果时，在获取到被训练对象对每种虚拟人物表情动画的判别结果之后，所述方法还包括：
[0014]利用错误判别结果所对应的虚拟人物表情动画对被训练对象进行辅助训练，以使被训练对象观测所述虚拟人物表情动画时的眼动轨迹数据达到阈值条件。
[0015]优选地，当存在错误判别结果，根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度的方法包括：
[0016]将错误判别结果所对应的虚拟人物表情动画的相似度设置为零，相似度为零表示虚拟人物表情动画的表情强度参数保持不变。
[0017]优选地，当存在正确判别结果，根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度的方法包括：
[0018]根据正确判别结果所对应的虚拟人物表情动画的眼动轨迹数据提取单人注视轨迹特征和单人注视轨迹路径长度；
[0019]根据单人注视轨迹特征和预先获取的正常人注视轨迹趋势特征得到编辑距离；
[0020]根据所述编辑距离和单人注视轨迹路径长度计算得到每种情绪类型的虚拟人物表情动画所对应的相似度。
[0021]优选地，根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料的方法包括：
[0022]根据相似度和表情强度参数之间的预设转换关系确定表情强度参数，所述表情强度参数包括表情浓度系数和表情持续时间；
[0023]根据所述表情浓度系数得到面部控制点坐标值，并利用狄利克雷自由变形算法得到的虚拟人物面部待变形点的新坐标值；
[0024]根据所述虚拟人物面部待变形点的新坐标值和表情持续时间合成调整表情强度参数后的虚拟人物表情动画。
[0025]优选地，在得到每种情绪类型的虚拟人物表情动画所对应的相似度之后，所述方法还包括：
[0026]判断每种情绪类型的虚拟人物表情动画所对应的相似度是否大于或等于预定值；
[0027]若是，则将相似度大于或等于预定值的虚拟人物表情动画从下一轮训练的视觉刺激材料中删除。
[0028]优选地，利用错误判别结果所对应的虚拟人物表情动画对被训练对象进行辅助训练，以使被训练对象观测所述虚拟人物表情动画时的眼动轨迹数据达到阈值条件的方法包括：
[0029]向被训练对象重新展示错误判别结果所对应的虚拟人物表情动画，同时按照预定顺序在虚拟人物表情动画中添加注视导航辅助框，注视导航辅助框用于提示注视区域；
[0030]实时监测被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动
追踪数据，根据所述眼动追踪数据判断被训练对象对注视区域的观察顺序与注视导航辅助框的添加顺序是否一致；
[0031]若是，则结束辅助训练；若否，则重复上述步骤。
[0032]本申请还公开了一种基于眼动反馈的情绪识别能力自适应训练装置，所述装置包括：
[0033]动画获取单元，用于获取本轮训练的视觉刺激材料，所述视觉刺激材料包括至少两种不同情绪类型的虚拟人物表情动画；
[0034]用户互动单元，用于按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，且在每种情绪类型的虚拟人物表情动画展示完成时，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；
[0035]眼动追踪单元，用于实时获取被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据以及获取被训练对象对每种虚拟人物表情动画的判别结果；
[0036]数据处理单元，用于根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；
[0037]参数调整单元，用于根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，所述方法包括：获取本轮训练的视觉刺激材料，所述视觉刺激材料包括至少两种不同情绪类型的虚拟人物表情动画；按照随机顺序向被训练对象展示不同情绪类型的虚拟人物表情动画，且在每种情绪类型的虚拟人物表情动画展示完成时，向被训练对象发出判别每种虚拟人物表情动画所对应的情绪类别的指令；实时获取被训练对象在观察不同情绪类型的虚拟人物表情动画时所对应的眼动轨迹数据以及获取被训练对象对每种情绪类型的虚拟人物表情动画的判别结果；根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判别结果得到每种情绪类型的虚拟人物表情动画所对应的相似度；根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料，重复上述步骤，直至满足训练完成条件。2.根据权利要求1所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，所述判断结果包括正确判别结果和/或错误判别结果，当存在错误判别结果时，在获取到被训练对象对每种虚拟人物表情动画的判别结果之后，所述方法还包括：利用错误判别结果所对应的虚拟人物表情动画对被训练对象进行辅助训练，以使被训练对象观测所述虚拟人物表情动画时的眼动轨迹数据达到阈值条件。3.根据权利要求2所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，当存在错误判别结果，根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度的方法包括：将错误判别结果所对应的虚拟人物表情动画的相似度设置为零，相似度为零表示虚拟人物表情动画的表情强度参数保持不变。4.根据权利要求2所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，当存在正确判别结果，根据每种情绪类型的虚拟人物表情动画所对应的眼动轨迹数据和判断结果得到每种情绪类型的虚拟人物表情动画所对应的相似度的方法包括：根据正确判别结果所对应的虚拟人物表情动画的眼动轨迹数据提取单人注视轨迹特征和单人注视轨迹路径长度；根据单人注视轨迹特征和预先获取的正常人注视轨迹趋势特征得到编辑距离；根据所述编辑距离和单人注视轨迹路径长度计算得到每种情绪类型的虚拟人物表情动画所对应的相似度。5.根据权利要求4所述的基于眼动反馈的情绪识别能力自适应训练方法，其特征在于，根据每种情绪类型的相似度调整所述情绪类型的虚拟人物表情动画的表情强度参数，并将调整表情强度参数后的各种虚拟人物表情动画用作下一轮训练的视觉刺激材料的方法包括：根据相似度和表情强度参数之间的预设转换关系确定表情强度参数，所述表情强度参数包括表情浓度系数和表情持续时间；根据所述表情浓度系数得到面部控制点坐标值，并利用狄利克雷自由变形算法得到的虚拟人物面部待变形点的新坐标...
【专利技术属性】
技术研发人员：陈江滔，燕楠，王岚，苏荣锋，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。